[發(fā)明專利]基于多模態(tài)融合的手勢識別方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011509113.6
• 申請日: 2020-12-18
• 公開（公告）號: CN112507947A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 張忠平;肖益珊;王永斌;劉廉如;季文翀;曾漢;溫振山;黃永;鄭濤
• 申請（專利權(quán)）人: 宜通世紀物聯(lián)網(wǎng)研究院（廣州）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權(quán)專利商標事務(wù)所有限公司 44205
• 代理人: 常柯陽

1.基于多模態(tài)融合的手勢識別方法，其特征在于，包括：

獲取多模態(tài)數(shù)據(jù)；

對所述多模態(tài)數(shù)據(jù)進行預(yù)處理，提取不同模態(tài)的特征；

根據(jù)不同模態(tài)的特征，通過模型正則化方法確定目標模型中融合層的神經(jīng)元與各個模態(tài)之間的第一關(guān)聯(lián)度；

根據(jù)所述不同模態(tài)的特征，通過注意力機制學(xué)習(xí)不同模態(tài)之間的第二關(guān)聯(lián)度；

根據(jù)所述第一關(guān)聯(lián)度和所述第二關(guān)聯(lián)度，確定不同模態(tài)的融合結(jié)果；

根據(jù)所述融合結(jié)果進行模型訓(xùn)練，得到目標模型；

通過目標模型對待識別圖像進行識別，確定手勢類別。

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)融合的手勢識別方法，其特征在于，所述對所述多模態(tài)數(shù)據(jù)進行預(yù)處理，提取不同模態(tài)的特征，包括：

確定所述多模態(tài)數(shù)據(jù)中的視頻模態(tài)數(shù)據(jù)、音頻模態(tài)數(shù)據(jù)和骨骼模態(tài)數(shù)據(jù)；

通過3D卷積和2D卷積方法獲取視頻模態(tài)數(shù)據(jù)中的視頻表征，所述視頻表征彩色模態(tài)和深度模態(tài)；

通過卷積方法獲取音頻模態(tài)數(shù)據(jù)中的音頻表征；

通過全連接層獲取骨骼模態(tài)數(shù)據(jù)中的骨骼表征。

3.根據(jù)權(quán)利要求1所述的基于多模態(tài)融合的手勢識別方法，其特征在于，所述根據(jù)不同模態(tài)的特征，通過模型正則化方法確定目標模型中融合層的神經(jīng)元與各個模態(tài)之間的第一關(guān)聯(lián)度，包括：

將不同模態(tài)進行拼接，得到初始融合層；

根據(jù)所述初始融合層，確定目標模型的所有融合層，并確定所有融合層的神經(jīng)元；

確定所述神經(jīng)元的初始權(quán)重矩陣和自定義掩碼矩陣；

根據(jù)所述初始權(quán)重矩陣和所述自定義掩碼矩陣，確定目標權(quán)重矩陣；

根據(jù)所述目標權(quán)重矩陣，確定神經(jīng)元與各個模態(tài)之間的第一關(guān)聯(lián)度。

4.根據(jù)權(quán)利要求3所述的基于多模態(tài)融合的手勢識別方法，其特征在于，所述根據(jù)所述初始權(quán)重矩陣和所述自定義掩碼矩陣，確定目標權(quán)重矩陣，具體為：

將所述初始權(quán)重矩陣和所述自定義掩碼矩陣的乘積，確定為所述目標權(quán)重矩陣。

5.根據(jù)權(quán)利要求3所述的基于多模態(tài)融合的手勢識別方法，其特征在于，所述根據(jù)所述第一關(guān)聯(lián)度和所述第二關(guān)聯(lián)度，確定不同模態(tài)的融合結(jié)果，包括：

利用反向求導(dǎo)的方式進行參數(shù)學(xué)習(xí)，確定所述初始權(quán)重矩陣和所述自定義掩碼矩陣；

根據(jù)參數(shù)學(xué)習(xí)的結(jié)果，對所述第一關(guān)聯(lián)度進行優(yōu)化更新；

根據(jù)優(yōu)化更新后的第一關(guān)聯(lián)度，結(jié)合所述第二關(guān)聯(lián)度，確定最優(yōu)融合組合。

6.根據(jù)權(quán)利要求1所述的基于多模態(tài)融合的手勢識別方法，其特征在于，所述根據(jù)所述融合結(jié)果進行模型訓(xùn)練，得到目標模型，具體為：

將所述融合結(jié)果輸入三層全連接層進行模型訓(xùn)練，得到目標模型。

7.基于多模態(tài)融合的手勢識別裝置，其特征在于，包括：模態(tài)特征提取模塊、多模態(tài)融合模塊和模型預(yù)測輸出模塊；

其中，所述模態(tài)特征提取模塊包括獲取單元和預(yù)處理單元：

所述獲取單元，用于獲取多模態(tài)數(shù)據(jù)；

所述預(yù)處理單元，用于對所述多模態(tài)數(shù)據(jù)進行預(yù)處理，提取不同模態(tài)的特征；

所述多模態(tài)融合模塊包括第一關(guān)聯(lián)單元、第二關(guān)聯(lián)單元和融合單元：

所述第一關(guān)聯(lián)單元，用于根據(jù)不同模態(tài)的特征，通過模型正則化方法確定目標模型中融合層的神經(jīng)元與各個模態(tài)之間的第一關(guān)聯(lián)度；

所述第二關(guān)聯(lián)單元，用于根據(jù)所述不同模態(tài)的特征，通過注意力機制學(xué)習(xí)不同模態(tài)之間的第二關(guān)聯(lián)度；

所述融合單元，用于根據(jù)所述第一關(guān)聯(lián)度和所述第二關(guān)聯(lián)度，確定不同模態(tài)的融合結(jié)果；

所述模型預(yù)測輸出模塊包括訓(xùn)練單元和識別單元；

所述訓(xùn)練單元，用于根據(jù)所述融合結(jié)果進行模型訓(xùn)練，得到目標模型；

所述識別單元，用于通過目標模型對待識別圖像進行識別，確定手勢類別。

8.一種電子設(shè)備，其特征在于，包括處理器以及存儲器；

所述存儲器用于存儲程序；

所述處理器執(zhí)行所述程序?qū)崿F(xiàn)如權(quán)利要求1-6中任一項所述的方法。

9.一種計算機可讀存儲介質(zhì)，其特征在于，所述存儲介質(zhì)存儲有程序，所述程序被處理器執(zhí)行實現(xiàn)如權(quán)利要求1-6中任一項所述的方法。