[發明專利]唇動檢測方法、裝置、終端設備及計算機可讀存儲介質

在審

• 申請號: 202110333133.0
• 申請日: 2021-03-29
• 公開（公告）號: CN112966654A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 曾鈺勝;龐建新
• 申請（專利權）人: 深圳市優必選科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 劉永康

1.一種唇動檢測方法，其特征在于，所述方法包括：

檢測目標視頻的第t幀圖像中目標人臉上的唇部關鍵點，獲得唇部關鍵點信息，所述t為大于1的正整數；

根據所述唇部關鍵點信息計算當前唇距，其中，所述當前唇距表示所述第t幀圖像中所述目標人臉上的唇部區域對應的上下唇距離；

獲取歷史唇距，其中，所述歷史唇距表示所述目標視頻的第t-n幀圖像中所述目標人臉上的所述唇部區域對應的上下唇距離，所述n為小于t的正整數；

根據所述當前唇距和所述歷史唇距之間的唇距差值確定唇動檢測結果。

2.如權利要求1所述的唇動檢測方法，其特征在于，所述檢測目標視頻的第t幀圖像中目標人臉上的唇部關鍵點，獲得唇部關鍵點信息，包括：

將所述目標視頻的所述第t幀圖像輸入到訓練后到關鍵點檢測模型中，獲得所述唇部關鍵點信息；

其中，所述關鍵點檢測模型為基于預設的對數損失函數訓練后到檢測模型，所述對數損失函數為所述x為損失值，所述ω、所述∈和所述C為預設參數。

3.如權利要求1所述的唇動檢測方法，其特征在于，所述根據所述唇部關鍵點信息計算當前唇距，包括：

根據所述唇部關鍵點信息確定所述第t幀圖像中所述目標人臉上的所述唇部區域；

判斷所述唇部區域是否存在遮擋；

若所述唇部區域未存在遮擋，則根據所述唇部關鍵點信息計算所述唇部區域對應的所述當前唇距。

4.如權利要求3所述的唇動檢測方法，其特征在于，所述唇部關鍵點信息包括多個唇部關鍵點各自的像素坐標；

所述根據所述唇部關鍵點信息確定所述第t幀圖像中所述目標人臉上的所述唇部區域，包括：

根據所述多個唇部關鍵點各自的像素坐標確定唇部中心點；

根據預設規則和所述唇部中心點確定所述第t幀圖像中所述目標人臉上的所述唇部區域。

5.如權利要求3所述的唇動檢測方法，其特征在于，所述判斷所述唇部區域是否存在遮擋，包括：

提取所述第t幀圖像中所述唇部區域的方向梯度直方圖特征信息；

將所述方向梯度直方圖特征信息輸入到訓練后的支持向量機判別器中，輸出判斷結果，其中，所述判斷結果包括存在遮擋或未存在遮擋。

6.如權利要求3所述的唇動檢測方法，其特征在于，所述若所述唇部區域未存在遮擋，則根據所述唇部關鍵點信息計算所述唇部區域對應的所述當前唇距，包括：

將所述唇部關鍵點劃分為M對關鍵點，其中，每對關鍵點中包括一個上唇關鍵點和一個下唇關鍵點，所述M為正整數；

通過公式計算所述唇部區域對應的所述當前唇距，其中，所述lipDist表示所述當前唇距，所述(x_{down_i}，y_{down_i})表示第i對關鍵點中所述下唇關鍵點的像素坐標，所述(x_{up_i}，y_{up_i})表示第i對關鍵點中所述上唇關鍵點的像素坐標。

7.如權利要求1所述的唇動檢測方法，其特征在于，所述根據所述當前唇距和所述歷史唇距之間的唇距差值確定唇動檢測結果，包括：

對所述當前唇距進行卡爾曼濾波處理，獲得濾波后的所述當前唇距；

根據所述濾波后的所述當前唇距和所述歷史唇距之間的唇距差值確定所述唇動檢測結果。

8.如權利要求1所述的唇動檢測方法，其特征在于，所述根據所述當前唇距和所述歷史唇距之間的唇距差值確定唇動檢測結果，包括：

檢測所述第t幀圖像中目標人臉上的人臉關鍵點，獲得人臉關鍵點信息；

根據所述人臉關鍵點信息確定所述第t幀圖像中的人臉區域；

根據所述人臉區域在所述第t幀圖像中所占的面積比例確定調整權值；

根據所述調整權值調整所述當前唇距，獲得調整后的所述當前唇距；

根據所述調整后的所述當前唇距和所述歷史唇距之間的唇距差值確定所述唇動檢測結果。