[發(fā)明專利]一種手部姿態(tài)識別方法、系統、設備和存儲介質

有效

• 申請?zhí)枺?/td>: 202111180272.0
• 申請日: 2021-10-11
• 公開（公告）號: CN113627397B
• 公開（公告）日: 2022-02-08
• 發(fā)明（設計）人: 蔣杰;劉陽;王翔漢;孫家豪;楊君燕;何亦湘;白亮;康來;魏迎梅;謝毓湘
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

1.一種手部姿態(tài)識別方法，其特征在于，包括以下步驟：

從RGB攝像頭捕獲了手部的RGB圖像，從主動深度攝像頭捕獲了手部的深度圖像，根據所述RGB 圖像和所述深度圖像獲取手部姿態(tài)數據集；

將所述手部姿態(tài)數據集進行處理，得到3D關節(jié)位置，將所述3D關節(jié)位置作為數據集標注用于軟件模型的訓練；

通過基于深度神經網絡的特征提取器提取所述RGB圖像，得到手部姿態(tài)的特征圖；包括：在所述特征提取器中加入由輸入層，瓶頸層和擴展層組成反轉殘差模塊；在所述反轉殘差模塊前的可分離卷積末尾加入ACON激活函數；通過設立超參數來學習在具體的網絡位置，獲取所述激活函數區(qū)域線性和非線性的程度；

根據注意力機制處理所述特征圖，得到手部姿態(tài)的全局特征圖，并利用所述全局特征圖得到手部姿態(tài)的識別結果；包括：根據所述特征圖的處理結果，得到手部三維姿態(tài)估計位置熱圖；將所述特征圖進行平均池化的外形調整后得到手掌根部節(jié)點的位置信息并判斷左右手部種類。

2.根據權利要求1所述的手部姿態(tài)識別方法，其特征在于，所述根據注意力機制處理所述特征圖，得到手部姿態(tài)的全局特征圖，并利用所述全局特征圖得到手部姿態(tài)的識別結果，包括：

在所述特征提取器中引入坐標注意力機制模塊，根據所述坐標注意力機制模塊處理所述特征圖，提高所述特征圖的分辨率和信息完備度；

在所述特征提取器中引入多光譜注意力機制模塊，根據所述多光譜注意力機制模塊在手部姿態(tài)中估計網絡特征提取的有效程度。

3.一種手部姿態(tài)識別系統，其特征在于，包括：

數據集模塊，用于從RGB攝像頭捕獲了手部的RGB圖像，從主動深度攝像頭捕獲了手部的深度圖像，根據所述RGB 圖像和所述深度圖像獲取手部姿態(tài)數據集；

圖像預處理模塊，用于將所述手部姿態(tài)數據集進行處理，得到3D關節(jié)位置，將所述3D關節(jié)位置作為數據集標注用于軟件模型的訓練；

特征圖提取模塊，用于通過基于深度神經網絡的特征提取器提取所述RGB圖像，得到手部姿態(tài)的特征圖；所述特征圖提取模塊包括反轉殘差單元，所述反轉殘差單元用于：在所述特征提取器中加入由輸入層，瓶頸層和擴展層組成反轉殘差模塊；在所述反轉殘差模塊前的可分離卷積末尾加入ACON激活函數；通過設立超參數來學習在具體的網絡位置，獲取所述激活函數區(qū)域線性和非線性的程度；

特征圖識別模塊，用于根據注意力機制處理所述特征圖，得到手部姿態(tài)的全局特征圖，并利用所述全局特征圖得到手部姿態(tài)的識別結果；所述特征圖識別模塊包括結果識別單元，所述結果識別單元用于：根據所述特征圖的處理結果，得到手部三維姿態(tài)估計位置熱圖；將所述特征圖進行平均池化的外形調整后得到手掌根部節(jié)點的位置信息并判斷左右手部種類。

4.根據權利要求3所述的手部姿態(tài)識別系統，其特征在于，所述特征圖識別模塊包括注意力機制單元，所述注意力機制單元用于：

在所述特征提取器中引入坐標注意力機制模塊，根據所述坐標注意力機制模塊處理所述特征圖，提高所述特征圖的分辨率和信息完備度；

在所述特征提取器中引入多光譜注意力機制模塊，根據所述多光譜注意力機制模塊在手部姿態(tài)中估計網絡特征提取的有效程度。

5.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現權利要求1至2中任一項所述方法的步驟。

6.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現權利要求1至2中任一項所述的方法的步驟。