[發(fā)明專利]手勢識別方法及裝置、存儲介質(zhì)、電子設備

有效

• 申請?zhí)枺?/td>: 202110951961.0
• 申請日: 2021-08-19
• 公開（公告）號: CN113408502B
• 公開（公告）日: 2021-12-21
• 發(fā)明（設計）人: 錢程浩;黃雪峰;熊海飛
• 申請（專利權）人: 深圳市信潤富聯(lián)數(shù)字科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 深圳智匯遠見知識產(chǎn)權代理有限公司 44481
• 代理人: 蔣學超

本發(fā)明公開了一種手勢識別方法及裝置、存儲介質(zhì)、電子設備，其中，該方法包括：獲取待識別的手勢圖片；將所述手勢圖片依次輸入多層特征提取網(wǎng)絡，并采用所述多層特征提取網(wǎng)絡輸出的多張第一類特征圖生成多張不同尺寸的第二類特征圖；基于所述多張第二類特征圖采用多尺度檢測模塊輸出手勢類別信息和手勢關鍵點信息。通過本發(fā)明，采用采用多尺度檢測模塊輸出手勢類別信息和手勢關鍵點信息，避免了在手勢檢測過程中手被遮擋和手的姿態(tài)方向的多變性導致手勢識別檢測準確率降低，提高了復雜場景的魯棒性，解決了相關技術手勢識別率低的技術問題。

技術領域

本發(fā)明涉及計算機領域，具體而言，涉及一種手勢識別方法及裝置、存儲介質(zhì)、電子設備。

背景技術

相關技術中，手勢是一種非語言的交流形式，可用于多個領域例如聾啞人之間的交流，機器人控制，人機交互（HCI，Human Computer Interaction）, 家庭自動化和醫(yī)療應用。

相關技術中，手勢識別已采用許多不同的技術，其主要分為三大類：一、模板匹配技術將待識別手勢的特征參數(shù)與預先存儲的模板特征參數(shù)進行匹配，通過測量兩者之間的相似度來完成識別任務。比如將待識別手勢和模板手勢的邊緣圖像變換到歐式距離空間，求出它們的Hausdorff距離（豪斯多夫距離，用來度量空間中真子集之間的距離）或修正Hausdorff。用該距離值代表待識別手勢和模板手勢的相似度。識別結果取與最小距離值對應的模板手勢。二、統(tǒng)計分析技術通過統(tǒng)計樣本特征向量來確定分類器的基于概率統(tǒng)計理論的分類方法。對于每幅圖像提取出指尖和重心特征，然后計算出距離和夾角，對于不同手勢分別進行距離和夾角的統(tǒng)計，得到其分布的數(shù)字特征，根據(jù)基于最小錯誤率的貝葉斯決策得到用于分割不同手勢的距離和夾角的值。得到分類器以后，對于采集的手勢圖像進行分類識別。三、神經(jīng)網(wǎng)絡技術這種技術具有自組織和自學習能力，具有分布性特點，能有效的抗噪聲和處理不完整模式以及具有模式推廣能力。采用這種技術，在識別前都需要一對神經(jīng)網(wǎng)絡的訓練(學習)階段。對于模板匹配技術，需要大量的人工設計特征操作，且在不同的環(huán)境背景下，所考慮的特征較為多樣，導致工程量較大，系統(tǒng)實現(xiàn)復雜。對于統(tǒng)計分析技術，允許其定義不同手勢類別特點的特征集，估計一個局部最優(yōu)的線性分辨器，根據(jù)手勢圖像中提取的大量特征識別相應的手勢類別，但其學習的效率不高，隨著樣本量的不斷增大，算法識別率的提高不明顯。基于深度學習的方法被證明可以很準確地提取特征進行運算，并取得較高的識別準確率。但由于一些場景中，手被遮擋和手的姿態(tài)方向多變性使得圖片中手相關的信息丟失，導致手勢識別準確率不高。針對相關技術中存在的上述問題，目前尚未發(fā)現(xiàn)有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種手勢識別方法及裝置、存儲介質(zhì)、電子設備。

根據(jù)本申請實施例的一個方面，提供了一種手勢識別方法，包括：獲取待識別的手勢圖片；將所述手勢圖片依次輸入多層特征提取網(wǎng)絡，并采用所述多層特征提取網(wǎng)絡輸出的多張第一類特征圖生成多張不同尺寸的第二類特征圖；基于所述多張第二類特征圖采用多尺度檢測模塊輸出手勢類別信息和手勢關鍵點信息。

進一步，將所述手勢圖片依次輸入多層特征提取網(wǎng)絡包括：將所述手勢圖片輸入第一特征提取網(wǎng)絡，得到第一尺寸的第一特征圖；將所述第一特征圖輸入第二特征提取網(wǎng)絡，得到第二尺寸的第二特征圖；將所述第二特征圖輸入第三特征提取網(wǎng)絡，得到第三尺寸的第三特征圖；其中，所述第一尺寸大于所述第二尺寸，所述第二尺寸大于所述第三尺寸。

進一步，采用所述多層特征提取網(wǎng)絡輸出的多張第一特征圖生成多張不同尺寸的第二類特征圖包括：采用所述第三特征圖和所述第二特征圖生成第二尺寸的第四特征圖，采用所述第二特征圖和所述第一特征圖生成第一尺寸的第五特征圖；將所述第三特征圖，所述第四特征圖，所述第五特征圖輸出為所述多張不同尺寸的第二類特征圖。