[發明專利]一種基于圖卷積的多模態融合手語識別系統及方法

有效

• 申請號: 202010049714.7
• 申請日: 2020-01-16
• 公開（公告）號: CN111259804B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 郭丹;唐申庚;劉祥龍;洪日昌;汪萌
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/764;G06N3/0464;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于圖卷積的多模態融合手語識別系統，其特征包括：特征提取模塊，特征融合模塊，序列學習模塊和對齊翻譯模塊；

所述特征提取模塊，是從手語視頻數據庫中提取視頻幀的顏色特征、深度特征和骨架特征，并對提取到的所有特征進行維度對齊，得到多模態特征；

所述特征融合模塊，是采用深度學習的方法搭建并訓練基于3D卷積神經網絡和圖卷積網絡的多模態序列特征融合模型，并使用所述多模態特征融合模型對所述多模態特征進行融合，得到片段融合特征；

所述序列學習模塊，是采用深度學習的方法搭建并訓練基于循環神經網絡的序列到序列的轉換模型，用于對多個片段融合特征所構成的序列進行轉換，得到一連串解碼的單詞序列；

所述對齊翻譯模塊，是使用聯結主義時序分類方法對所述單詞序列進行解碼翻譯，最終輸出完整的手語句子。

2.根據權利要求1所述的多模態融合手語識別系統，其特征在于，所述特征提取模塊使用ResNet-18網絡提取顏色特征和深度特征；并以人體關節的自然連接為邊、以關節點為節點建立空間圖結構，從而使用空間圖神經網絡對所述空間圖結構進行學習，并得到所述骨架特征；

將所述顏色特征、深度特征和骨架特征處理成相同的尺寸，從而得到多模態特征，所述多模態特征包括空間、時間和模態三個維度。

3.根據權利要求1所述的多模態融合手語識別系統，其特征在于，所述特征融合模塊包括以下步驟：

步驟a：采用深度學習方法搭建兩個并行的3D卷積神經網絡分別對多模態特征的空間維度和時間維度進行卷積操作，得到兩路特征并相加后輸出組合特征；

步驟b：在相鄰幀和間隔幀之間分別建立時序邊，并在所述時間維度中同一時刻下的不同模態幀之間建立模態邊，以所述時間維度中不同時刻下的不同模態幀的特征為圖結構的節點、以時序邊和模態邊為圖結構的邊，從而構建多模態序列的圖卷積網絡；

步驟c：將所述組合特征輸入所述多模態序列的圖卷積網絡中進行訓練并融合，從而得到更新后的組合特征；

步驟d：以所述更新后的組合特征作為所述多模態特征后，返回步驟a-步驟c，得到再次更新后的組合特征作為片段融合特征。

4.根據權利要求1所述的多模態融合手語識別系統，其特征在于，所述對齊翻譯模塊是先將所述單詞序列中連續重復出現的單詞合并在一起，再移除所有表示過渡動作的單詞，從而得到處理后的單詞序列并作為最終翻譯輸出的手語句子。

5.一種基于圖卷積的多模態融合手語識別方法，其特征是按如下步驟進行：

步驟1、使用ResNet-18網絡從手語視頻數據庫中提取視頻幀的顏色特征和深度特征；以人體關節的自然連接為邊、以關節點為節點建立空間圖結構，從而使用空間圖神經網絡對所述空間圖結構進行學習，并得到所述骨架特征；

步驟2、將所述顏色特征、深度特征和骨架特征處理成相同的尺寸，從而得到多模態特征，所述多模態特征包括空間、時間和模態三個維度；

步驟3、采用深度學習方法搭建兩個并行的3D卷積神經網絡分別對多模態特征的空間維度和時間維度進行卷積操作，得到兩路特征并相加后輸出組合特征；

步驟4、在相鄰幀和間隔幀之間分別建立時序邊，并在所述時間維度中同一時刻下的不同模態幀之間建立模態邊，以所述時間維度中不同時刻下的不同模態幀的特征為圖結構的節點、以時序邊和模態邊為圖結構的邊，從而構建多模態序列的圖卷積網絡；

步驟5、將所述組合特征輸入所述多模態序列的圖卷積網絡中進行訓練并融合，從而得到更新后的組合特征；

步驟6、以所述更新后的組合特征作為所述多模態特征后，返回步驟3-步驟5，得到再次更新后的組合特征作為片段融合特征；

步驟7、采用深度學習的方法搭建并訓練基于循環神經網絡的序列到序列的轉換模型，用于對多個片段融合特征所構成的序列進行轉換，得到一連串解碼的單詞序列；

步驟8、使用聯結主義時序分類方法對所述單詞序列中連續重復出現的單詞合并在一起，再移除所有表示過渡動作的單詞，從而得到處理后的單詞序列并作為最終翻譯輸出的手語句子。