[發明專利]一種基于圖卷積的多模態融合手語識別系統及方法

有效

• 申請號: 202010049714.7
• 申請日: 2020-01-16
• 公開（公告）號: CN111259804B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 郭丹;唐申庚;劉祥龍;洪日昌;汪萌
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/764;G06N3/0464;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于圖卷積的多模態融合手語識別系統及方法，該系統包括：特征提取模塊，特征融合模塊，序列學習模塊和對齊翻譯模塊；該方法包括：1使用卷積神經網絡和圖神經網絡分別對手語視頻數據庫提取視頻幀的顏色、深度和骨架特征；2組合多模態特征，并通過多模態序列融合網絡融合特征；3構建雙向循環神經網絡對融合后的一連串片段級別特征進行序列學習；4、過聯結主義時序分類模型對齊特征序列，并翻譯出完整的手語句子。本發明能實現對連續手語句子的翻譯，并提高連續手語翻譯的準確性。

技術領域

本發明屬于多媒體信息處理領域，涉及到計算機視覺、自然語言處理、深度學習等技術，具體地說是一種基于圖卷積的多模態融合手語識別系統及方法。

背景技術

健全人可以使用口頭語言便捷交流，而失聰者或失聲者則需要通過手語傳達自己的想法。由于大部分健全人缺少手語教育的基礎，推廣手語用于正常社會溝通存在障礙。科技向善，手語識別技術在一定程度上為失聰失聲人群融入社會提供了便利。

早期的手語識別研究關注于離散性手語識別，其本質上是一種特殊的視頻分類問題。隨著視頻理解技術的發展，連續性手語翻譯吸引越來越多的關注。

由于視頻數據復雜繁多，現有的手語識別存在很多弊端，尤其是在多模態數據的表征和融合方面。現有手語識別方法在使用多種模態源的數據時，常常忽略了不同模態之間的互補關聯，而對其進行暴力融合，融合特征的魯棒性較差；另一方面，在特征學習過程中對視頻數據流中的時間和空間特性發掘較少，沒有充分利用手語特征的時間變化特性，從而導致了手語翻譯的結果連貫性差、精確度較低。

發明內容

本發明針對現有技術中存在的不足之處，提供一種基于圖卷積的多模態融合手語識別系統及方法，以期能實現對連續手語句子的翻譯，并提高手語識別的準確性。

本發明為解決技術問題采用如下的方法方案：

本發明一種基于圖卷積的多模態融合手語識別系統的特點包括：特征提取模塊，特征融合模塊，序列學習模塊和對齊翻譯模塊；

所述特征提取模塊，是從手語視頻數據庫中提取視頻幀的顏色特征、深度特征和骨架特征，并對提取到的所有特征進行維度對齊，得到多模態特征；

所述特征融合模塊，是采用深度學習的方法搭建并訓練基于3D卷積神經網絡和圖卷積網絡的多模態序列特征融合模型，并使用所述多模態特征融合模型對所述多模態特征進行融合，得到片段融合特征；

所述序列學習模塊，是采用深度學習的方法搭建并訓練基于循環神經網絡的序列到序列的轉換模型，用于對多個片段融合特征所構成的序列進行轉換，得到一連串解碼的單詞序列；

所述對齊翻譯模塊，是使用聯結主義時序分類方法對所述單詞序列進行解碼翻譯，最終輸出完整的手語句子。

本發明所述的多模態融合手語識別系統的特點也在于，所述特征提取模塊使用ResNet-18網絡提取顏色特征和深度特征；并以人體關節的自然連接為邊、以關節點為節點建立空間圖結構，從而使用空間圖神經網絡對所述空間圖結構進行學習，并得到所述骨架特征；

將所述顏色特征、深度特征和骨架特征處理成相同的尺寸，從而得到多模態特征，所述多模態特征包括空間、時間和模態三個維度。

所述特征融合模塊包括以下步驟：

步驟a：采用深度學習方法搭建兩個并行的3D卷積神經網絡分別對多模態特征的空間維度和時間維度進行卷積操作，得到兩路特征并相加后輸出組合特征；

步驟b：在相鄰幀和間隔幀之間分別建立時序邊，并在所述時間維度中同一時刻下的不同模態幀之間建立模態邊，以所述時間維度中不同時刻下的不同模態幀的特征為圖結構的節點、以時序邊和模態邊為圖結構的邊，從而構建多模態序列的圖卷積網絡；