[發明專利]一種唇語識別系統

在審

• 申請號: 202010556817.2
• 申請日: 2020-06-17
• 公開（公告）號: CN111898420A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 魯遠耀;李宏波
• 申請（專利權）人: 北方工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06K9/62
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

本發明公開了一種唇語識別系統，包括：人機交互界面和算法模塊；所述人機交互界面和所述算法模塊通過信號槽連接；所述人機交互界面，用于獲取待識別的視頻；所述算法模塊，用于對所述待識別的視頻進行唇語識別得到唇語識別結果；所述人機交互界面，還用于展示所述唇語識別結果，并按時序展示唇語識別過程。本發明設計的唇語識別系統可以更好的觀察與分析模型性能的優劣以及從原始視頻到最終識別過程中的每個環節，從而提升并優化模型和算法。

技術領域

本發明涉及唇語識別領域，具體涉及一種唇語識別系統。

背景技術

唇語識別，就是通過說話者嘴唇的動態形狀變化來使計算機理解說話者表達的語言內容。唇語識別技術可以解決環境嘈雜甚至無音頻采集器的場景下對說話者表達內容的識別任務，這也使唇語識別可應用于不同領域中的眾多場景里，自動唇讀技術可以廣泛應用于虛擬現實系統、信息安全、語音識別和輔助駕駛系統等領域。隨著物聯網和5G技術的發展，唇語識別技術未來還會應用于智能家居、智能駕駛和智能溝通等領域。

傳統的唇語識別技術是基于圖像處理和模式識別來完成從序列圖像到識別結果的過程，因此識別任務可分為：嘴唇區域定位、嘴唇感興趣區域特征提取和唇語內容識別。其中，特征提取和分類器的設計是識別過程的重點與難點。一般采用的主流變換方法有：主要成分分析(Principal Component Analysis，PCA)、離散時間余弦變換(Discrete CosineTransformation，DCT)、奇異特征值分解法(Singular Value Decomposition，SVD)和信號處理中的獨立成分分析法(Independent Component Correlation Algorithm，ICA)。唇語的內容識別主要由人工設計的分類器來完成。分類方法一般可劃分為：隱馬爾可夫模型(Hidden Markov Models，HMM)、人工神經網絡(Artificial Neural Network，ANN)、模板匹配法(Template Matching Algorithm，TMA)和支持向量機(Support Vector Machine，SVM)等。當前對唇語識別的研究主要集中在如何實現唇語識別，以及如何對現有的唇語識別過程進行改進得到更高準確度的識別結果，在識別過程中，研究人員不能從識別過程直觀的得到導致識別結果誤差大的原因，往往需要大量的實驗通過排除法先確認產生誤差的環節，然后解決產生誤差的原因，該過程不僅效率低，而且不能得到直觀的唇語識別過程。

發明內容

為了解決現有技術中所存在的上述不足，本發明提供了一種唇語識別系統，包括：人機交互界面和算法模塊；所述人機交互界面和所述算法模塊通過信號槽連接；

所述人機交互界面，用于獲取待識別的視頻；

所述算法模塊，用于對所述待識別的視頻進行唇語識別得到唇語識別結果；

所述人機交互界面，還用于展示所述唇語識別結果，并按時序展示唇語識別過程。

優選的，所述算法模塊包括：

固定幀抽取子模塊，用于基于半隨機抽取固定幀策略從待識別的視頻中抽取進行處理的視頻幀；

分割子模塊，用于從進行處理的視頻幀中分割嘴唇圖像，得到嘴唇數據集；

識別子模塊，用于基于設計的模型對所述嘴唇數據集中的各嘴唇圖像進行識別得到唇語識別結果。

優選的，所述識別子模塊，包括：

特征提取單元，用于對嘴唇圖像進行特征提取得到圖像特征，并對各卷積層的嘴唇圖像以及圖像特征進行切片操作，得到可視化的各卷積層嘴唇圖像和高維圖像特征；

時序特征提取單元，用于對所述圖像特征進行時序特征提取得到序列特征，并對所述序列特征的進行切片操作，得到可視化的序列特征；

分類單元，用于對提取到的時序特征進行分類，得到唇語識別結果。