[發明專利]一種面向移動終端的超聲波唇讀識別裝置及方法

有效

• 申請號: 201610803559.7
• 申請日: 2016-09-05
• 公開（公告）號: CN106328141B
• 公開（公告）日: 2019-06-14
• 發明（設計）人: 王曉亮;譚佳瑤;陸桑璐
• 申請（專利權）人: 南京大學
• 主分類號: G10L15/24
• 分類號: G10L15/24;H04B11/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 許丹丹

本發明公開了一種面向移動終端的超聲波唇讀識別裝置及方法，裝置包括超聲波發送模塊、超聲波接收模塊和信號處理模塊；方法具體為超聲波發送模塊發送超聲波信號，超聲波信號在被嘴部反射后，由超聲波接收模塊接收，信號處理模塊處理超聲波接收模塊獲取的反射超聲波信號以得到該信號的特征向量，根據特征向量識別口型，得到匹配結果。本發明的有益效果為：以移動終端作為超聲波發送和接收模塊，在無需額外硬件定制的基礎上，利用超聲波感知的能力識別唇語，拓展了超聲波技術的應用場景，克服了傳統唇讀識別技術的不足，具有廣泛的應用場景。

技術領域

本發明涉及移動行為感知技術領域，尤其是一種面向移動終端的超聲波唇讀識別裝置及方法。

背景技術

現有技術中，移動終端上的行為感知技術被普遍應用，如呼吸檢測、手勢識別等，這種移動感知是一種更加智能化的人機交互方式。而唇讀則是行為感知技術中更為細粒度的識別技術，是一項通過考察人們說話時嘴的運動模式，以此提高計算機的理解能力的技術。傳統的唇讀技術往往基于設備攜帶的傳感器或者相機，借助移動設備攜帶的聲學傳感器進行語音識別，雖然能夠精確的解釋語音內容輕松實現唇讀，但算法主要依賴于圖像的質量，復雜度高。

發明內容

本發明所要解決的技術問題在于，提供一種面向移動終端的超聲波唇讀識別裝置及方法，對來自嘴部的反射信號進行特征提取匹配，實現唇讀識別。

為解決上述技術問題，本發明提供一種面向移動終端的超聲波唇讀識別裝置，包括超聲波發送模塊、超聲波接收模塊和信號處理模塊；超聲波發送模塊發送超聲波信號，超聲波信號在被嘴部反射后，由超聲波接收模塊接收，信號處理模塊處理超聲波接收模塊獲取的反射超聲波信號以得到該信號的特征向量，根據特征向量識別口型，得到匹配結果。

優選的，超聲波發送模塊為移動終端的揚聲器，超聲波接收模塊為移動終端的麥克風，均支持19KHz的超聲波信號。

優選的，信號處理模塊包括時間記錄單元、預處理單元、唇動分割單元、特征提取單元、唇語識別單元、模型訓練單元和口型基元庫；時間記錄單元記錄每次發射超聲波信號與接收超聲波信號的時間差，預處理單元對超聲波接收模塊獲取的反射超聲波信號進行濾波得到唇動反射信號，唇動分割單元將唇動反射信號以單音節為單位分割成若干個單音節信號序列，特征提取單元針對每個單音節信號序列提取并處理對應口型的特征參數形成唇動特征向量，口型基元庫應用特征提取單元提取的12種音節的特征參數，確立為12種基本口型，唇語識別單元調用口型基元庫匹配所有單音節信號序列分量的結果，模型訓練單元對分量匹配結果進行聯合學習。

一種面向移動終端的超聲波唇讀識別方法，包括如下步驟：

(1)超聲波發送模塊發送19KHz的超聲波信號，同時信號處理模塊的時間記錄單元開始計時；

(2)超聲波接收模塊接收來自嘴部的超聲波反射信號，并將反射信號傳遞到信號處理模塊，同時信號處理模塊的時間記錄單元停止計時；

(3)信號處理模塊的預處理單元對超聲波接收模塊的反射超聲波信號進行濾波，從原始超聲波反射信號中分離出唇動引起的反射信號即唇動反射信號，傳遞唇動反射信號給唇動分割單元；

(4)唇動分割單元對唇動反射信號進行分割，以單音節為單位進行分割，得到的音節信號序列傳遞給特征提取單元；

(5)特征提取單元檢測每一個音節信號序列分量對應的特征參數，形成唇動特征向量；特征提取單元處理所有音節信號序列分量后，將每個分量的唇動特征向量傳遞給唇語識別單元；

(6)唇語識別單元對當前唇動特征向量進行識別，調用口型基元庫，與口型基元庫中的單口型唇動特征向量樣本相匹配，根據口型基元庫中單口型與音節的對應關系、單口型與特性向量對應關系，對當前唇動特征向量進行分類匹配，將所有分量匹配結果傳遞給模型訓練單元進一步識別；