[發明專利]一種手語識別方法

有效

• 申請號: 201910426216.7
• 申請日: 2019-05-21
• 公開（公告）號: CN110175551B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 張淑軍;張群;李輝;王傳旭
• 申請（專利權）人: 青島科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/764
• 代理公司: 青島聯智專利商標事務所有限公司 37101
• 代理人: 邵新華

本發明公開了一種手語識別方法，包括：對手語視頻所對應的視頻序列進行頻域變換，得到圖像的相位信息；將相位信息和視頻序列送入C3D卷積神經網絡進行一次卷積并融合，形成特征信息；將所述特征信息送入深度卷積神經網絡進行二次卷積和池化，并在池化過程中執行自適應學習池化算法，篩選出目標特征向量，送入全連接層輸出分類結果。本發明將頻域變換結合到深度學習算法中，利用頻域變換提取出手語視頻中的相位信息，輔助RGB空間信息，送入深度學習網絡生成手語的特征，由此獲得的特征更為本質、準確。通過在3D卷積神經網絡模型的池化層加入自適應學習池化算法，可以挖掘到手語視頻中更為抽象、高級的視頻特征，得到更為精確的分類結果。

技術領域

本發明屬于視頻識別技術領域，具體地說，是涉及一種用于手語語義識別的方法。

背景技術

在當今計算機技術快速發展的時代，人機交互技術受到了廣泛的重視，并取得了一定的研究成果，這項技術主要包括人類表情識別、動作識別和手語識別等。手語是聾啞人與健聽人之間的一種主要交流方式，但是對于健聽人而言，他們并沒有真正的接受過手語培訓，除了對一些簡單的手勢表達有基本的常識之外，并不能從根本上理解聾啞人的真實想法，這使得聾啞人與健聽人之間的交流面臨困難。與此同時，手語識別也可以輔助應用于殘障人群的教育教學中，以保障殘障人群的正常生活和學習。

傳統的手語識別方法需要聾啞人配戴帶有多個傳感器的數據手套，根據數據手套采集聾啞人的肢體行為軌跡，根據軌跡信息生成可理解的語義。目前，大多基于最原始的3D卷積神經網絡模型設計的行為識別方法對于小數據集下的手語識別準確率低，計算量大，容易產生過擬合的現象，普適性不高。

申請號為CN107506712A的中國發明專利申請，公開了一種基于3D深度卷積網絡的人類行為識別方法，改進了標準的3維卷積網絡C3D，引入多級池化能夠對任意分辨率和時長的視頻片段進行特征提取，從而得到最終的分類結果。但是，該方法所使用的C3D卷積網絡結構比較淺，對于大范圍的數據集識別精度低，很難提取最優的特征信息。

申請號為CN107679491A的中國發明專利申請，公開了一種融合多模態數據的3D卷積神經網絡手語識別方法，通過對手勢紅外圖像和輪廓圖像從空間維度和時間維度進行特征提取，融合兩個基于不同數據格式的網絡輸出進行最終的手語分類。但是，整個網絡輸入需要利用體感設備額外提取紅外圖像和輪廓圖像，對輸入的數據處理起來比較復雜，對于一些波動幅度比較大的細節行為識別效果不好。

申請號為CN104281853A的中國發明專利申請，公開了一種基于3D卷積神經網絡的行為識別方法，結合光流信息作為多通道數據輸入送入網絡分別進行特征提取，最后通過全連接層進行最終的行為分類，并將整個階段分為離線訓練和在線識別階段。該方法可以實現在線識別，但對數據集的要求過高，而且需要用到光流信息，計算比較復雜，識別效率也不是很高。

發明內容

本發明的目的在于提供一種手語識別方法，旨在解決現有手語識別方法所存在的特性信息提取不優、識別準確率不高的問題。

為解決上述技術問題，本發明采用以下技術方案予以實現：

一種手語識別方法，包括以下過程：

根據手語視頻形成視頻序列X；

對所述視頻序列X進行基于頻域變換的圖像處理，提取出相位信息；

將所述相位信息和視頻序列X分別送入C3D卷積神經網絡進行一次卷積，并對卷積后得到的特征進行加權融合，形成融合后的特征信息；

將所述融合后的特征信息送入3D ResNets深度卷積神經網絡進行二次卷積和池化，并在池化過程中執行自適應學習池化算法，篩選出目標特征向量，送入3D ResNets深度卷積神經網絡的全連接層，輸出分類結果。