[發明專利]基于全局-局部特征增強的孤立詞手語識別方法及系統有效
| 申請號： | 202010513333.X | 申請日： | 2020-06-08 |
| 公開（公告）號： | CN111652164B | 公開（公告）日： | 2022-07-15 |
| 發明（設計）人： | 李厚強;周文罡;胡鶴臻;蒲俊福 | 申請（專利權）人： | 中國科學技術大學 |
| 主分類號： | G06V40/20 | 分類號： | G06V40/20;G06V40/70;G06V10/80;G06K9/62 |
| 代理公司： | 北京集佳知識產權代理有限公司 11227 | 代理人： | 王嬌嬌 |
| 地址： | 230026 安*** | 國省代碼： | 安徽;34 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 全局 局部 特征 增強 孤立 手語 識別 方法 系統 | ||
1.一種基于全局-局部特征增強的孤立詞手語識別方法，其特征在于，包括：
獲取待識別的手語視頻，所述手語視頻包括孤立詞手語；
對所述待識別的手語視頻通過共享的卷積層進行特征提取，得到特征圖；
捕捉所述特征圖的上下文信息，得到全局特征；
捕捉所述特征圖的細粒度信息，得到局部特征；
基于所述全局特征和所述局部特征，使用交叉熵損失函數和互相促進損失函數監督進行協同學習，得到所述待識別的手語視頻的識別結果，所述互相促進損失函數等于DKL(p2||p1)+DKL(p1||p2)，其中p1和p2分別為全局支路和局部支路預測的概率分布，DKL(p2||p1)和DKL(p1||p2)分別是使用散度(Kullback Leibler，KL)計算的全局支路和局部支路之間的匹配程度；其中，用于捕捉上下文信息的全局支路和用于捕捉細粒度線索的局部支路的輸出zglobal和zlocal均使用交叉熵損失函數進行監督，分別記作和所述使用交叉熵損失函數和互相促進損失函數監督進行協同學習包括：使用函數監督進行協同學習；
所述捕捉所述特征圖的上下文信息，得到全局特征，包括：
對所述特征圖X通過獨立的卷積層生成和所述特征圖具有相同形狀的特征A、特征B和特征C；
基于所述特征A和特征B定義增強特征圖E；
使用所述增強特征圖E聚合來自所述特征C的特征，并與所述特征圖X構成全局特征；
所述捕捉所述特征圖的細粒度信息，得到局部特征，包括：
計算顯著圖沿X軸和Y軸的積分并進行歸一化，得到關于X軸和Y軸的分布函數；
基于所述分布函數的反函數對所述特征圖進行自適應采樣，得到采樣后的局部特征。
2.根據權利要求1所述的方法，其特征在于，所述顯著圖根據全局特征的高階特征經過三線性注意力生成。
3.根據權利要求1所述的方法，其特征在于，所述基于所述全局特征和所述局部特征進行協同學習，得到所述待識別的手語視頻的識別結果，包括：
基于所述全局特征和所述局部特征進行協同學習，取預測概率最高的類別作為所述待識別的手語視頻的識別結果。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學技術大學，未經中國科學技術大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010513333.X/1.html，轉載請聲明來源鉆瓜專利網。
