[發明專利]唇動檢測方法、裝置、終端設備及計算機可讀存儲介質

在審

• 申請號: 202110333133.0
• 申請日: 2021-03-29
• 公開（公告）號: CN112966654A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 曾鈺勝;龐建新
• 申請（專利權）人: 深圳市優必選科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 劉永康

本申請適用于圖像處理技術領域，提供了一種唇動檢測方法、裝置、終端設備及計算機可讀存儲介質，包括：檢測目標視頻的第t幀圖像中目標人臉上的唇部關鍵點，獲得唇部關鍵點信息；根據所述唇部關鍵點信息計算當前唇距，其中，所述當前唇距表示所述第t幀圖像中所述目標人臉上的唇部區域對應的上下唇距離；獲取歷史唇距，其中，所述歷史唇距表示所述目標視頻的第t?n幀圖像中所述目標人臉上的所述唇部區域對應的上下唇距離；根據所述當前唇距和所述歷史唇距之間的唇距差值確定唇動檢測結果。通過上述方法，能夠有效提高唇動檢測的效率和準確度。

技術領域

本申請屬于圖像處理技術領域，尤其涉及一種唇動檢測方法、裝置、終端設備及計算機可讀存儲介質。

背景技術

唇動檢測技術是指，通過對人臉圖像中唇部區域進行檢測、以確定唇部運動狀態的一項技術。該項技術在人機交互方面發揮著巨大作用。例如：可以通過唇動檢測技術檢測用戶是否發出指令，進而控制智能設備喚醒。

現有技術中，通常是將當前時刻檢測出的人臉圖像中的唇部關鍵點與歷史時刻人臉圖像中的唇部關鍵點進行一一匹配，然后根據匹配結果確定各個關鍵點的位置是否發生了變化，進而確定唇動狀態。現有的唇動檢測方法需要進行關鍵點的逐一匹配，計算量較大，檢測效率較低，進而影響人機交互的靈敏性；另外，關鍵點的檢測誤差也可能造成錯誤的關鍵點匹配結果，進而影響唇動檢測結果的準確性。

發明內容

本申請實施例提供了一種唇動檢測方法、裝置、終端設備及計算機可讀存儲介質，可以提高唇動檢測的效率和準確率。

第一方面，本申請實施例提供了一種唇動檢測方法，包括：

檢測目標視頻的第t幀圖像中目標人臉上的唇部關鍵點，獲得唇部關鍵點信息，所述t為大于1的正整數；

根據所述唇部關鍵點信息計算當前唇距，其中，所述當前唇距表示所述第t幀圖像中所述目標人臉上的唇部區域對應的上下唇距離；

獲取歷史唇距，其中，所述歷史唇距表示所述目標視頻的第t-n幀圖像中所述目標人臉上的所述唇部區域對應的上下唇距離，所述n為小于t的正整數；

根據所述當前唇距和所述歷史唇距之間的唇距差值確定唇動檢測結果。

在本申請實施例中，根據檢測出的唇部關鍵點計算上下唇距離(即唇距)，然后通過對比前后兩幀圖像各自對應的唇距確定前后兩幀圖像之間唇距是否發生了變化，根據唇距的變化情況確定唇動狀態。通過上述方法，避免了唇部關鍵點的逐一比對，減少了數據處理量，有效提高了唇動檢測的效率；同時避免了由于錯誤的關鍵點匹配結果造成的錯誤的唇動狀態檢測結果，有效提高了唇動檢測的準確率。

在第一方面的一種可能的實現方式中，所述檢測目標視頻的第t幀圖像中目標人臉上的唇部關鍵點，獲得唇部關鍵點信息，包括：

將所述目標視頻的所述第t幀圖像輸入到訓練后到關鍵點檢測模型中，獲得所述唇部關鍵點信息；

其中，所述關鍵點檢測模型為基于預設的對數損失函數訓練后到檢測模型，所述對數損失函數為所述x為損失值，所述ω、所述∈和所述C為預設參數。

在第一方面的一種可能的實現方式中，所述根據所述唇部關鍵點信息計算當前唇距，包括：

根據所述唇部關鍵點信息確定所述第t幀圖像中所述目標人臉上的所述唇部區域；

判斷所述唇部區域是否存在遮擋；

若所述唇部區域未存在遮擋，則根據所述唇部關鍵點信息計算所述唇部區域對應的所述當前唇距。

在第一方面的一種可能的實現方式中，所述唇部關鍵點信息包括多個唇部關鍵點各自的像素坐標；

所述根據所述唇部關鍵點信息確定所述第t幀圖像中所述目標人臉上的所述唇部區域，包括：