[發明專利]一種唇語的識別方法、裝置及設備

在審

• 申請號: 202110843573.0
• 申請日: 2021-07-26
• 公開（公告）號: CN113642420A
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 杜吉祥;汪冠鴻;張洪博;彭肖肖;翟傳敏
• 申請（專利權）人: 華僑大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 廈門智慧呈睿知識產權代理事務所(普通合伙) 35222
• 代理人: 郭福利

本發明提供了一種唇語的識別方法、裝置及設備,包括:獲取視頻數據,并對所述視頻數據進行處理,以獲得唇部圖像序列；對所述圖像序列進行雙向時序的特征提取，生成所述唇部圖像序列的表觀特征；調用LSTM模型,對所述表觀特征的變化進行鏡頭轉換的邊界檢測并生成檢測結果，根據所述檢測結果初始化所述LSTM模型的隱含層和記憶層；提取所述隱含層的編碼特征,并根據所述編碼特征獲取單詞預測序列。減少現有的唇語識別算法的復雜度、時間復雜度的同時保持較高的準確率。

技術領域

本發明涉及人工智能領域，特別涉及一種唇語的識別方法、裝置及設備。

背景技術

隨著計算機技術、互聯網產業等方面的快速發展，人工智能的發展進入了新的階段。隨著深度學習在計算機視覺和自然語言處理等領域取得突出的成就，基于深度學習的唇語識別技術成為研究熱點。

唇語識別是指通過視覺信息(包括臉部肌肉、唇部運動、舌頭等)理解其所表達的信息的過程，在現實生活中具有十分重要的應用價值。

現如今的唇語識別都是針對短視頻數據，這些視頻數據持續時間為1-3秒，并且沒有鏡頭的轉換，因此識別起來相對簡單，但是現實生活中大多都是長視頻，并且視頻中不同鏡頭之間具有上下文關系。現有識別方法針對長視頻數據進行唇語識別需要消耗很多的時間和硬件資源。

有鑒于此，提出本申請。

發明內容

本發明公開了一種唇語的識別方法、裝置及設備，旨在減少現有的唇語識別算法的復雜度、時間復雜度的同時保持較高的準確率。

本發明第一實施例提供了一種唇語的識別方法,包括:

獲取視頻數據,并對所述視頻數據進行處理,以獲得唇部圖像序列；

對所述圖像序列進行雙向時序的特征提取，生成所述唇部圖像序列的表觀特征；

調用LSTM模型,對所述表觀特征的變化進行鏡頭轉換的邊界檢測并生成檢測結果，根據所述檢測結果初始化所述LSTM模型的隱含層和記憶層；

提取所述隱含層的編碼特征,并根據所述編碼特征獲取單詞預測序列。

優選地，所述獲取視頻數據,并對所述視頻數據進行處理,以獲得唇部序列圖像具體為：

對所述視頻數據進行數據切幀，生成圖像序列；

調用人臉檢測模型，對所述圖像序列進行人臉檢測，以獲得目標點信息，其中，所述目標點信息包括人臉標定信息及關鍵點信息；

根據所述目標點信息對所述圖像序列進行裁剪出取唇部圖像序列。

優選地，所述對所述圖像序列進行雙向時序的特征提取，生成所述唇部圖像序列的表觀特征具體為：

調用三維卷積網絡，將預設格式的唇部圖像序列作為所述三維卷積網絡的輸入；

獲取所述三維卷積網絡輸出的張量，并對所述張量進行空間維度上自適應平均池化，生成所述表觀特征。

優選地，所述調用LSTM模型,對所述表觀特征的變化進行鏡頭轉換的邊界檢測并生成檢測結果，根據所述檢測結果初始化所述LSTM模型的隱含層和記憶層具體為：

將所述表觀特征和上一時刻的隱含層進行線性結合后輸入至邊界檢測函數；

調用sigmoid函數對所述邊界檢測函數進行激活,以生成檢測結果；

根據所述檢測結果判斷當前視頻與前后幀是否處在在一個視頻片段內；

若是，初始化所述LSTM模型的隱含層和記憶層。

優選地，所述提取所述隱含層的編碼特征,并根據所述編碼特征獲取單詞預測序列具體為：