[發明專利]一種唇語的識別方法、裝置及設備

在審

• 申請號: 202110843573.0
• 申請日: 2021-07-26
• 公開（公告）號: CN113642420A
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 杜吉祥;汪冠鴻;張洪博;彭肖肖;翟傳敏
• 申請（專利權）人: 華僑大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 廈門智慧呈睿知識產權代理事務所(普通合伙) 35222
• 代理人: 郭福利

1.一種唇語的識別方法,其特征在于,包括:

獲取視頻數據,并對所述視頻數據進行處理,以獲得唇部圖像序列；

對所述圖像序列進行雙向時序的特征提取，生成所述唇部圖像序列的表觀特征；

調用LSTM模型,對所述表觀特征的變化進行鏡頭轉換的邊界檢測并生成檢測結果，根據所述檢測結果初始化所述LSTM模型的隱含層和記憶層；

提取所述隱含層的編碼特征,并根據所述編碼特征獲取單詞預測序列。

2.根據權利要求1所述的一種唇語的識別方法,其特征在于,所述獲取視頻數據,并對所述視頻數據進行處理,以獲得唇部序列圖像具體為：

對所述視頻數據進行數據切幀，生成圖像序列；

調用人臉檢測模型，對所述圖像序列進行人臉檢測，以獲得目標點信息，其中，所述目標點信息包括人臉標定信息及關鍵點信息；

根據所述目標點信息對所述圖像序列進行裁剪出取唇部圖像序列。

3.根據權利要求1所述的一種唇語的識別方法,其特征在于,所述對所述圖像序列進行雙向時序的特征提取，生成所述唇部圖像序列的表觀特征具體為：

調用三維卷積網絡，將預設格式的唇部圖像序列作為所述三維卷積網絡的輸入；

獲取所述三維卷積網絡輸出的張量，并對所述張量進行空間維度上自適應平均池化，生成所述表觀特征。

4.根據權利要求1所述的一種唇語的識別方法,其特征在于,所述調用LSTM模型,對所述表觀特征的變化進行鏡頭轉換的邊界檢測并生成檢測結果，根據所述檢測結果初始化所述LSTM模型的隱含層和記憶層具體為：

將所述表觀特征和上一時刻的隱含層進行線性結合后輸入至邊界檢測函數；

調用sigmoid函數對所述邊界檢測函數進行激活,以生成檢測結果；

根據所述檢測結果判斷當前視頻與前后幀是否處在在一個視頻片段內；

若是，初始化所述LSTM模型的隱含層和記憶層。

5.根據權利要求1所述的一種唇語的識別方法,其特征在于,所述提取所述隱含層的編碼特征,并根據所述編碼特征獲取單詞預測序列具體為：

提取所述隱含層的正向編碼特征及反向編碼特征；

調用注意機制對所述正向編碼特征及所述反向編碼特征，以獲取所述表觀特征的特征向量；

調用損失函數所述特征向量進行序列解碼，以獲得所述單詞的預測序列。

6.一種唇語的識別裝置,其特征在于,包括:

唇部圖像序列獲取單元，用于獲取視頻數據,并對所述視頻數據進行處理,以獲得唇部圖像序列；

表觀特征生成單元，用于對所述圖像序列進行雙向時序的特征提取，生成所述唇部圖像序列的表觀特征；

初始化單元，用于調用LSTM模型,對所述表觀特征的變化進行鏡頭轉換的邊界檢測并生成檢測結果，根據所述檢測結果初始化所述LSTM模型的隱含層和記憶層；

單詞預測序列獲取單元，用于提取所述隱含層的編碼特征,并根據所述編碼特征獲取單詞預測序列。

7.根據權利要求6所述的一種唇語的識別裝置,其特征在于,所述唇部圖像序列獲取單元具體用于：

對所述視頻數據進行數據切幀，生成圖像序列；

調用人臉檢測模型，對所述圖像序列進行人臉檢測，以獲得目標點信息，其中，所述目標點信息包括人臉標定信息及關鍵點信息；

根據所述目標點信息對所述圖像序列進行裁剪出取唇部圖像序列。

8.根據權利要求6所述的一種唇語的識別裝置,其特征在于,所述表觀特征生成單元具體用于：

調用三維卷積網絡，將預設格式的唇部圖像序列作為所述三維卷積網絡的輸入；

獲取所述三維卷積網絡輸出的張量，并對所述張量進行空間維度上自適應平均池化，生成所述表觀特征。