[發明專利]一種手勢識別的方法、裝置、電子裝置和存儲介質

在審

• 申請號: 202011195452.1
• 申請日: 2020-10-30
• 公開（公告）號: CN112446296A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 朱銘德;周志敏;叢林
• 申請（專利權）人: 杭州易現先進科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 賀才杰

1.一種手勢識別的方法，其特征在于，包括：

獲取待識別圖像；

利用第一神經網絡檢測器檢測所述待識別圖像中的所有手的第一包圍盒，將所述第一包圍盒經過預處理得到第一預處理圖像；

使用分類神經網絡計算所述第一預處理圖像中的手勢在嵌入空間的表征向量，并根據所述表征向量得到所述手勢的類別結果和魯棒性結果；

根據實際應用，利用所述類別結果和所述魯棒性結果生成最終交互狀態信息。

2.根據權利要求1所述的方法，其特征在于，所述將所述第一包圍盒經過預處理得到預處理圖像，包括：

在保持所述第一包圍盒的中心不變的情況下，將所述第一包圍盒擴充成方形；從所述待識別圖像中截取所述第一包圍盒內的圖像，若所述第一包圍盒內的圖像超出所述待識別圖像的邊界，則用預設參數對所述待識別圖像上超出邊界的部分進行填充；

將填充后的所述待識別圖像縮放到所述分類神經網絡所需的大小，得到所述預處理圖像。

3.根據權利要求1所述的方法，其特征在于，在所述使用分類神經網絡計算在所述預處理圖像中的手勢在嵌入空間的表征向量之前，所述方法還包括：

在離線的情況下，訓練所述分類神經網絡。

4.根據權利要求3所述的方法，其特征在于，所述訓練所述分類神經網絡包括：

采集訓練圖像；標注所述訓練圖像的類別標簽和所述訓練圖像所有手勢的第二包圍盒，其中，所述訓練圖像包括訓練集和測試集；

基于所述第二包圍盒對所述訓練圖像進行預處理；

在所述訓練集中，配合所述類別標簽訓練所述分類神經網絡和類別表征向量；

在訓練完成之后，計算所述測試集在所述嵌入空間的測試表征向量，以每種類型所述類別表征向量為中心，擬合每種類型的測試表征向量，以獲取到每種類型的所述測試表征向量與對應的所述類別表征向量之間的魯棒性允許的最大距離。

5.根據權利要求1或4所述的方法，其特征在于，所述根據所述表征向量得到所述手勢的類別結果和魯棒性結果，包括：

計算所述表征向量到類別表征向量之間的距離，并根據所述類別表征向量中的距離最近向量所代表的類別獲取所述類別結果；

若所述距離最近向量落點位于所述類別表征向量的最大距離范圍內，判斷所述手勢具備魯棒性。

6.根據權利要求1所述的方法，其特征在于，所述根據實際應用，利用所述類別結果和所述魯棒性結果生成最終交互狀態信息，包括：

利用當前幀中的所述類別結果和所述魯棒性結果，或者綜合利用時序上連續多幀中所述類別結果和所述魯棒性結果，生成最終所需的交互狀態信息。

7.根據權利要求6所述的方法，其特征在于，在根據實際應用，利用所述類別結果和所述魯棒性結果生成最終交互狀態信息之后，所述方法還包括：

發送所述交互狀態信息給上層應用程序，根據所述交互狀態信息獲取相應的交互反饋。

8.一種手勢識別的裝置，其特征在于，包括：獲取模塊、第一檢測模塊、分類神經網絡模塊以及交互模塊；

獲取模塊，用于獲取待識別圖像；

第一檢測模塊，用于利用第一神經網絡檢測器檢測得到所述待識別圖像中的所有手的第一包圍盒，將所述第一包圍盒經過預處理得到第一預處理圖像；

分類神經網絡模塊，用于使用分類神經網絡計算得到所述預處理圖像中的手勢在嵌入空間的表征向量，并根據所述表征向量得到所述手勢的類別結果和魯棒性結果；

交互模塊，用于根據實際應用，利用所述類別結果和所述魯棒性結果生成最終交互狀態信息。

9.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行權利要求1至7中任一項所述的一種手勢識別的方法。

10.一種存儲介質，其特征在于，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行權利要求1至7中任一項所述的一種手勢識別的方法。