[發明專利]基于隨機變分信息的手勢識別方法、裝置、設備及介質

在審

• 申請號: 202011511115.9
• 申請日: 2020-12-18
• 公開（公告）號: CN112667071A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 肖益珊;張忠平;王永斌;劉廉如;季文翀;曾漢;溫振山;黃永;鄭濤
• 申請（專利權）人: 宜通世紀物聯網研究院（廣州）有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62;G06N3/04;G10L25/30
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 常柯陽

1.基于隨機變分信息的手勢識別方法，其特征在于，包括：

對獲取的待測數據進行特征提取，得到不同模態下的特征數據；所述模態包括視頻模態、骨骼模態和音頻模態；

獲取變分信息瓶頸；

通過所述變分信息瓶頸對所述特征數據中隨機的局部信息進行壓縮處理，并保留所述特征數據中剩余的局部信息，得到不同模態下的特征數據的融合結果；

將所述不同模態下的融合結果輸入預設模型，輸出手勢識別結果。

2.根據權利要求1所述的基于隨機變分信息的手勢識別方法，其特征在于，所述對獲取的待測數據進行特征提取，得到不同模態下的特征數據，包括：

對所述待測數據進行數據劃分，得到視頻模態下的數據、骨骼模態下的數據以及音頻模態下的數據；

通過3D卷積和2D卷積的方法對所述視頻模態下的數據進行特征提取，得到第一模態特征；

通過全連接網絡對所述骨骼模態下的數據進行特征提取，得到第二模態特征；

通過卷積操作對所述音頻模態下的數據進行特征提取，得到第三模態特征。

3.根據權利要求1所述的基于隨機變分信息的手勢識別方法，其特征在于，所述獲取變分信息瓶頸，包括：

獲取所述不同模態下的特征數據作為輸入數據；

根據所述輸入數據，確定神經網絡對所述輸入數據的內部表示；

根據所述內部表示，確定所述內部表示與預設的輸出目標之間的最大化的第一互信息，以及確定所述內部表示與所述輸入數據之間的最小化的第二互信息；

根據所述第一互信息和所述第二互信息，確定所述變分信息瓶頸。

4.根據權利要求1所述的基于隨機變分信息的手勢識別方法，其特征在于，所述通過所述變分信息瓶頸對所述特征數據中隨機的局部信息進行壓縮處理，并保留所述特征數據中剩余的局部信息，得到不同模態下的特征數據的融合結果，包括：

按照預設的壓縮比例從所述不同模態的特征數據中選取第一部分的數據，并通過所述變分信息瓶頸對所述第一部分的數據進行壓縮，得到信息瓶頸層輸出；

將所述不同模態的特征數據中剩余部分的數據輸入全連接層，得到全連接層輸出；

根據所述壓縮比例，對所述信息瓶頸層輸出和所述全連接層輸出進行融合，得到融合結果。

5.根據權利要求1所述的基于隨機變分信息的手勢識別方法，其特征在于，所述將所述不同模態下的融合結果輸入預設模型，輸出手勢識別結果，包括：

通過三層全連接層對所述不同模態下的融合結果進行訓練，輸出模型的判斷結果，作為手勢識別結果。

6.根據權利要求1所述的基于隨機變分信息的手勢識別方法，其特征在于，所述方法還包括對所述預設模型進行驗證的步驟，包括：

驗證不同信息瓶頸寬度和壓縮比例對所述預設模型的影響程度；

驗證不同隱變量采樣策略對所述預設模型的影響程度；

驗證不同疊加策略對所述預設模型的影響程度。

7.根據權利要求3所述的基于隨機變分信息的手勢識別方法，其特征在于，所述根據所述第一互信息和所述第二互信息，確定所述變分信息瓶頸中，所述變分信息瓶頸的優化目標為：

其中，J_IB代表變分信息瓶頸網絡優化目標函數；N代表樣本實例總個數；ε代表對Z使用重參數技巧的參數表示；p(ε)代表參數ε的邊緣分布；q(y_n|f(x_n,ε))代表y_n與f(x_n,ε)的條件分布函數；y_n代表數據集中相應輸出目標(標簽)；x_n代表輸入數據；f(x_n,ε)代表x_n與ε的聯合分布函數；β代表控制多項式之間權重的超參數；D_KL代表控制多項式之間權重的超參數；p(Z|x_n)代表Z與x_n的條件分布函數；r(Z)代表隱變量z的邊緣分布p(z)近似變分計算。