[發明專利]一種手勢識別的方法、裝置、電子裝置和存儲介質

在審

• 申請號: 202011195452.1
• 申請日: 2020-10-30
• 公開（公告）號: CN112446296A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 朱銘德;周志敏;叢林
• 申請（專利權）人: 杭州易現先進科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 賀才杰

本申請涉及一種手勢識別的方法、裝置、電子裝置和存儲介質，其中，該方法通過獲取待識別圖像；利用第一神經網絡檢測器檢測該待識別圖像中的所有手的第一包圍盒，將該第一包圍盒經過預處理得到第一預處理圖像使用分類神經網絡計算該第一預處理圖像中的手勢在嵌入空間的表征向量，并根據該表征向量得到該手勢的類別結果和魯棒性結果；根據實際應用，利用該類別結果和該魯棒性結果生成最終交互狀態信息。本申請解決了在出現歧義手勢和未知手勢的情況下手勢識別方法準確性低的問題，實現了更準確的手勢交互。

技術領域

本申請涉及計算機技術領域，特別是涉及一種手勢識別的方法、裝置、電子裝置和存儲介質。

背景技術

隨著互聯網及計算機技術的迅速發展，手勢的識別技術也在迅速發展。手勢識別是一種自然、便捷的人機交互方式，通過對手勢的識別和功能綁定可以達到用戶想快速、跨級訪問相關應用界面的目的，是一種快捷、方便的交互方式。

相關技術中通常基于神經網絡等方法進行手勢識別，然而靜態手勢的定義無法準確到每個關節彎曲多少度，以及指頭之間的捏合程度等，手勢采集的過程中更是無法控制，上述不確定性會給手勢識別任務帶來很大的困擾；例如，一個半捏合的手到底算是捏合還是不捏合，張開多大的手算是張開，一些未定義的沒有采集和覆蓋到的手勢應該算是哪類。因此相關技術的分類神經網絡很難應對這些從數據源就無法控制的事情。在正常的手勢交互的過程中，必然會存在歧義手勢、未知手勢、模糊圖像等，相關技術通常會將上述不魯棒的手勢劃分為某一類，使得在交互過程中出現誤觸發、誤操作等現象，從而導致手勢識別方法的準確性較低。

目前針對相關技術中，在出現歧義手勢和未知手勢的情況下手勢識別方法準確性低的問題，尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種手勢識別的方法、裝置、電子裝置和存儲介質，以至少解決相關技術中手勢識別方法的準確性較低的問題。

第一方面，本申請實施例提供了一種手勢識別的方法，包括：獲取待識別圖像；利用第一神經網絡檢測器檢測所述待識別圖像中的所有手的第一包圍盒；將所述第一包圍盒經過預處理得到預處理圖像；使用分類神經網絡計算所述預處理圖像中的手勢在嵌入空間的表征向量，并根據所述表征向量得到所述手勢的類別結果和魯棒性結果；根據實際應用，利用所述類別結果和所述魯棒性結果生成最終交互狀態信息。

在其中一些實施例中，所述將所述第一包圍盒經過預處理得到第一預處理圖像，包括：在保持所述第一包圍盒的中心不變的情況下，將所述第一包圍盒擴充成方形；從所述待識別圖像中截取所述第一包圍盒內的圖像，若所述第一包圍盒內的圖像超出所述待識別圖像的邊界，則用預設參數對所述待識別圖像上超出邊界的部分進行填充；將填充后的所述待識別圖像縮放到所述分類神經網絡所需的大小，得到所述預處理圖像。

在其中一些實施例中，在所述使用分類神經網絡計算在所述預處理圖像中的手勢在嵌入空間的表征向量之前，所述方法還包括：在離線的情況下，訓練所述分類神經網絡。

在其中一些實施例中，采集訓練圖像；標注所述訓練圖像的類別標簽和所述訓練圖像所有手勢的第二包圍盒，其中，所述訓練圖像包括訓練集和測試集；基于所述第二包圍盒對所述訓練圖像進行預處理；在所述訓練集中，配合所述類別標簽訓練所述分類神經網絡和類別表征向量；在訓練完成之后，計算所述測試集在所述嵌入空間的測試表征向量，以每種類型所述類別表征向量為中心，擬合每種類型的測試表征向量，以獲取到每種類型的所述測試表征向量與對應的所述類別表征向量之間的魯棒性允許的最大距離。

在其中一些實施例中，所述根據所述表征向量得到所述手勢的類別結果和魯棒性結果，包括：計算所述表征向量到類別表征向量之間的距離，并根據所述類別表征向量中的距離最近向量所代表的類別獲取所述類別結果；若所述距離最近向量落點位于所述類別表征向量的最大距離范圍內，判斷所述手勢具備魯棒性。