[發明專利]動態手勢識別方法及裝置

有效

• 申請號: 201711417801.8
• 申請日: 2017-12-22
• 公開（公告）號: CN109960980B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 王權;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本發明實施例公開了一種動態手勢識別方法及裝置，其中的方法包括：對待檢測視頻流中的動態手勢進行定位，得到動態手勢框；從所述視頻流的多幀圖像幀中截取與所述動態手勢框對應的圖像塊；基于截取出的各圖像塊生成檢測序列；根據所述檢測序列進行動態手勢識別。本發明實施例實現對動態手勢的識別。

技術領域

本發明實施例涉及圖像處理技術，尤其是一種動態手勢識別方法及裝置。

背景技術

手勢是圖像與視頻信息中一個重要的人機交互特征。手勢識別算法核心任務是給定一張包含手的圖片，判斷出其中手勢的類型的方法。

發明內容

本發明實施例提供一種動態手勢識別方法及裝置的技術方案。

根據本發明實施例一個方面，提供一種動態手勢識別方法，包括：對待檢測視頻流中的動態手勢進行定位，得到動態手勢框；從所述視頻流的多幀圖像幀中截取與所述動態手勢框對應的圖像塊；基于截取出的各圖像塊生成檢測序列；根據所述檢測序列進行動態手勢識別。

在一種可選方式中，所述對待檢測視頻流中的動態手勢進行定位，得到動態手勢框，包括：對所述多幀圖像中的至少一幀進行靜態手勢定位，得到所述至少一幀的靜態手勢框；根據所述得到的所述至少一幀的靜態手勢框確定所述動態手勢框。

在一種可選方式中，根據所述得到的所述至少一幀的靜態手勢框確定所述動態手勢框，包括：對所述至少一幀的靜態手勢框進行放大處理，得到所述動態手勢框。

在一種可選方式中，所述多幀圖像幀中各圖像幀的靜態手勢框滿足：靜態手勢框位于所述動態手勢框內，或者，靜態手勢框與動態手勢框相同。

在一種可選方式中，所述根據所述檢測序列進行動態手勢識別，包括：確定所述檢測序列中多個幀間圖像差；基于確定的多個幀間圖像差生成圖像差序列；根據所述檢測序列和所述圖像差序列識別進行動態手勢識別。

在一種可選方式中，所述幀間圖像差為所述檢測序列中兩個相鄰參考幀之間的圖像差。

在一種可選方式中，根據所述檢測序列和所述圖像差序列識別進行動態手勢識別，包括：將所述檢測序列輸入第一動態手勢識別模型，以獲得所述第一動態手勢識別模型輸出的第一動態手勢類別預測概率；將所述圖像差序列輸入第二動態手勢識別模型，以獲得所述第二動態手勢識別模型輸出的第二動態手勢類別預測概率；根據所述第一動態手勢類別預測概率和所述第二動態手勢類別預測概率，確定動態手勢識別結果。

在一種可選方式中，所述第一動態手勢識別模型為第一神經網絡，所述第二動態手勢識別模型為第二神經網絡，所述第一神經網絡和所述第二神經網絡的結構相同或不同。

在一種可選方式中，還包括：多次截取出檢測序列，并多次生成圖像差序列，以及多次根據檢測序列以及圖像差序列進行動態手勢識別；根據每次動態手勢識別出的動態手勢類型的概率，確定出最終的動態手勢識別結果。

在一種可選方式中，還包括：采用以下方法建立所述第一動態手勢識別模型：采集不同類型動態手勢的樣本視頻流；對所述不同類型動態手勢的動態手勢框進行標記；從樣本視頻流的多幀圖像幀中截取與動態手勢框的標注信息對應的圖像塊，構成圖像序列；以所述動態手勢類型作為監督數據，以所述圖像序列作為訓練數據，訓練所述第一動態手勢識別模型。

在一種可選方式中，所述以所述動態手勢類型作為監督數據，以所述圖像序列作為訓練數據，訓練所述第一動態手勢識別模型，包括：將所述圖像序列分為數段；在每一段中抽取出預置幀數的圖像，堆疊組成圖像訓練數據；以所述動態手勢類型作為監督數據，以所述圖像訓練數據訓練出所述第一動態手勢識別模型。