[發明專利]一種手部姿態識別方法、系統、設備和存儲介質

有效

• 申請號: 202111180272.0
• 申請日: 2021-10-11
• 公開（公告）號: CN113627397B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 蔣杰;劉陽;王翔漢;孫家豪;楊君燕;何亦湘;白亮;康來;魏迎梅;謝毓湘
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

本申請涉及一種手部姿態識別方法、系統、設備和存儲介質，該方法包括：從RGB攝像頭捕獲了手部的RGB圖像，從主動深度攝像頭捕獲了手部的深度圖像，根據所述立體聲圖像和所述深度圖像獲取手部姿態數據集；將所述手部姿態數據集進行處理，得到3D關節位置，將所述3D關節位置作為數據集標注用于軟件模型的訓練；通過基于深度神經網絡的特征提取器提取所述RGB圖像，得到手部姿態的特征圖；根據注意力機制處理所述特征圖，得到手部姿態的全局特征圖，并利用所述全局特征圖得到手部姿態的識別結果。該識別方法在提供識別精確度的同時，驗證了坐標注意力機制模塊和多光譜注意力機制模塊在手部姿態估計網絡特征提取器中的有效性。

技術領域

本申請涉及人工智能領域，特別是涉及一種手部姿態識別方法、系統、設備和存儲介質。

背景技術

隨著信息化時代的不斷發展，各種搭載人工智能信息系統的電子設備融入我們的生活之中，人機交互的需求日益凸顯。而作為手部交互的基礎性工作，人體手部位置識別定位與姿態估計，也有著巨大的研究價值。利用深度學習進行手部姿態估計有許多方法。有基于圖像加深度信息的方法，有直接基于RGB圖像的方法，也有基于雙目乃至多目視覺的方法。在此之中，基于單幅RGB圖像的手部姿態估計方法由于其實現簡單，對硬件要求較低，便于推廣等諸多優點而更為受到人們的關注。

利用深度學習方法，基于單幅RGB圖像進行手部姿態估計，其中一個令人矚目的方法是InterNet， InterNet通過輸入單幅標注后的RGB圖像通過一個深度神經網絡特征提取器和全連接網絡的后續熱圖估計和位置擬合，精準估計手部姿態位置。作為作者提出數據集，該方法提升了手部姿態估計的性能，在STB數據集上實現了解決了交互式手部姿態估計的難題。但是，上述識別過程存在識別精度不高的問題。

發明內容

基于此，有必要針對上述技術問題，提供一種手部姿態識別方法、系統、設備和存儲介質。

第一方面，本發明實施例提供了一種手部姿態識別方法，包括以下步驟：

從RGB攝像頭捕獲了手部的RGB圖像，從主動深度攝像頭捕獲了手部的深度圖像，根據所述RGB圖像和所述深度圖像獲取手部姿態數據集；

將所述手部姿態數據集進行處理，得到3D關節位置，將所述3D關節位置作為數據集標注用于深度神經網絡模型的訓練；

通過基于深度神經網絡的特征提取器提取所述RGB圖像，得到手部姿態的特征圖；

根據注意力機制處理所述特征圖，得到手部姿態的全局特征圖，并利用所述全局特征圖得到手部姿態的識別結果。

進一步的，所述通過基于深度神經網絡的特征提取器提取所述RGB圖像，得到手部姿態的特征圖，包括：

在所述特征提取器中加入由輸入層，瓶頸層和擴展層組成反轉殘差模塊；

在所述反轉殘差模塊前的可分離卷積末尾加入ACON激活函數；

通過設立超參數來學習在具體的網絡位置，獲取所述激活函數區域線性和非線性的程度。

進一步的，所述根據注意力機制處理所述特征圖，得到手部姿態的全局特征圖，并利用所述全局特征圖得到手部姿態的識別結果，包括：

在所述特征提取器中引入坐標注意力機制模塊，根據所述坐標注意力機制模塊處理所述特征圖，提高所述特征圖的分辨率和信息完備度；

在所述特征提取器中引入多光譜注意力機制模塊，根據所述多光譜注意力機制模塊在手部姿態中估計網絡特征提取的有效程度。

進一步的，所述根據注意力機制處理所述特征圖，得到手部姿態的全局特征圖，并利用所述全局特征圖得到手部姿態的識別結果，包括：

根據所述特征圖的處理結果，得到手部三維姿態估計位置熱圖；