[發明專利]基于全局-局部特征增強的孤立詞手語識別方法及系統

有效

• 申請號: 202010513333.X
• 申請日: 2020-06-08
• 公開（公告）號: CN111652164B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 李厚強;周文罡;胡鶴臻;蒲俊福
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/70;G06V10/80;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王嬌嬌

本發明公開了一種基于全局?局部特征增強的孤立詞手語識別方法及系統，方法包括：獲取待識別的手語視頻，對待識別的手語視頻通過共享的卷積層進行特征提取，得到特征圖；捕捉特征圖的上下文信息，得到全局特征；捕捉特征圖的細粒度信息，得到局部特征；基于全局特征和局部特征進行協同學習，得到待識別的手語視頻的識別結果。本發明能夠實現同時兼顧全局與局部特征，做到對每一種特征的自適應增強；同時，能夠使得這兩種特征的學習相互促進，以進一步提高手語識別的準確率。

技術領域

本發明涉及手語識別技術領域，尤其涉及一種基于全局-局部特征增強的孤立詞手語識別方法及系統。

背景技術

根據第二次全國殘疾人調查，我國聽力殘疾患者高達2780萬人。在聽障人群中，最常用的交流媒介是手語。手語作為一種視覺語言，有著它獨特的語言特性。它主要通過具有上下文關聯的手控特征(手型、手的運動及位置等)，輔助以細粒度的非手控特征(表情、唇型等)來表達語義信息。

為了方便聽人與聾人之間的交流，手語識別應運而生并被廣泛地研究。它將輸入的手語視頻通過計算機算法，轉換為對應的文本或者語音輸出。這項研究涉及多模態人機交互、計算機視覺、自然語言處理等領域。

孤立詞手語識別是指輸入一個手語詞的視頻，系統識別這個視頻對應的詞匯。孤立詞手語識別可以看作是一種細粒度分類問題。手語孤立詞的準確判別不僅依賴于手控特征，細粒度的非手控特征也起到重要作用。存在一些不同含義的易混孤立詞，他們有著相同的手控特征，但是非手控特征不一樣。如中文手語中，“如果”和“假冒”這對詞，他們只在嘴部的運動上有所區分。這個歧義問題給手語詞的準確識別帶來了很大的挑戰。整個系統的識別流程為，首先對輸入的手語視頻提取表征，然后將該表征通過變換轉換為概率向量，取概率最大的類別作為最終的識別結果。隨著近些年深度學習與硬件計算能力的發展，基于深度學習的孤立詞手語識別系統占主導地位。它通過卷積神經網絡(ConvolutionalNeural Network，CNN)來提取表征，然后將表征通過全連接和Softmax層后轉換為概率向量，取最大概率對應的類別作為識別結果。

由此可以看出，孤立詞手語識別中，提取特征這個步驟至關重要。傳統的識別方法分為兩種：直接從全局提取特征。而手語中存在一些細粒度的局部線索，這種方法缺乏對此類線索的關注，導致誤分類；同時，也存在一些識別方法提取局部的手部特征作為輔助，但是這種方法依舊無法很好地自適應關注易混詞中細粒度的非手控特征。

以上的兩個缺點是現有技術的主要問題，因此，如何實現同時兼顧全局與局部特征，做到對每一種特征的自適應增強。同時，能夠使得這兩種特征的學習相互促進，以進一步提高手語識別的準確率，是一項亟待解決的問題。

發明內容

有鑒于此，本發明提供了一種基于全局-局部特征增強的孤立詞手語識別方法，能夠實現同時兼顧全局與局部特征，做到對每一種特征的自適應增強；同時，能夠使得這兩種特征的學習相互促進，以進一步提高手語識別的準確率。

本發明提供了一種基于全局-局部特征增強的孤立詞手語識別方法，包括：

獲取待識別的手語視頻；

對所述待識別的手語視頻通過共享的卷積層進行特征提取，得到特征圖；

捕捉所述特征圖的上下文信息，得到全局特征；

捕捉所述特征圖的細粒度信息，得到局部特征；

基于所述全局特征和所述局部特征進行協同學習，得到所述待識別的手語視頻的識別結果。

優選地，所述捕捉所述特征圖的上下文信息，得到全局特征，包括：

對所述特征圖X通過獨立的卷積層生成和所述特征圖具有相同形狀的特征A、特征B和特征C；

基于所述特征A和特征B定義增強特征圖E；