[發明專利]人臉形狀點跟蹤方法、裝置和系統及存儲介質

有效

• 申請號: 201711146381.4
• 申請日: 2017-11-17
• 公開（公告）號: CN108875506B
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 熊鵬飛
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰;戴亞南

本發明實施例提供一種人臉形狀點跟蹤方法、裝置和系統以及存儲介質。該方法包括：步驟S210：對當前視頻幀進行人臉檢測，以獲得至少一個人臉框；步驟S220：從至少一個人臉框中選擇待跟蹤人臉在當前視頻幀中的當前人臉框；步驟S230：基于當前人臉框進行人臉形狀點定位，以確定待跟蹤人臉的當前人臉形狀點；步驟S240：基于當前人臉框計算待跟蹤人臉在下一視頻幀中的后續人臉框；以及步驟S250：確定下一視頻幀為當前視頻幀并返回步驟S230。上述方法可以提升人臉形狀點定位的準確度、效率和魯棒性。

技術領域

本發明涉及人臉識別領域，更具體地涉及一種人臉形狀點跟蹤方法、裝置和系統以及存儲介質。

背景技術

人臉形狀點跟蹤技術是指在連續的視頻幀序列中跟蹤一個或多個人臉，并實時輸出每幀中人臉的形狀點。該技術作為人臉分析領域的一項通用技術，在很多場合都具有非常重要的作用。比如公共安全領域基于此技術鎖定特定人的活動軌跡，駕駛員疲勞檢測中判斷人臉的連續動作，手機美顏中實時定位人臉后對人臉圖像進行處理，視頻直播行業實時跟蹤人臉后在人臉上添加各種道具等。人臉形狀點跟蹤的準確性、魯棒性和效率是該技術所關心的主要問題。

發明內容

考慮到上述問題而提出了本發明。本發明提供了一種人臉形狀點跟蹤方法、裝置和系統以及存儲介質。

根據本發明一方面，提供了一種人臉形狀點跟蹤方法。該方法包括：步驟S210：對當前視頻幀進行人臉檢測，以獲得至少一個人臉框；步驟S220：從至少一個人臉框中選擇待跟蹤人臉在當前視頻幀中的當前人臉框；步驟S230：基于當前人臉框進行人臉形狀點定位，以確定待跟蹤人臉的當前人臉形狀點；步驟S240：基于當前人臉框計算待跟蹤人臉在下一視頻幀中的后續人臉框；以及步驟S250：確定下一視頻幀為當前視頻幀并返回步驟S230。

示例性地，步驟S240包括：根據當前人臉形狀點調整當前人臉框；以及基于調整后的人臉框計算后續人臉框。

示例性地，根據當前人臉形狀點調整當前人臉框包括：將當前人臉框調整為當前人臉形狀點的外包圍盒。

示例性地，步驟S240包括：采用人臉跟蹤算法，基于當前人臉框計算下一視頻幀中與當前人臉框對應的預估人臉框；計算當前人臉框與預估人臉框之間的偏移量；根據當前人臉形狀點和偏移量確定下一視頻幀中與當前人臉形狀點對應的預估人臉形狀點；以及根據預估人臉形狀點調整預估人臉框以獲得后續人臉框。

示例性地，步驟S240包括：采用人臉跟蹤算法，基于當前人臉框計算下一視頻幀中與當前人臉框對應的預估人臉框作為后續人臉框。

示例性地，在步驟S220之后且在步驟S240之前，方法還包括：步驟S222：計算當前人臉框中包含人臉的置信度；步驟S224：判斷置信度是否小于預設閾值，如果是，則轉至步驟S226；步驟S226：確定下一視頻幀為當前視頻幀并返回步驟S210；其中，步驟S240在置信度大于或等于預設閾值的情況下執行。

示例性地，步驟S222和步驟S230利用同一卷積神經網絡實現。

示例性地，步驟S220包括：在當前視頻幀是執行人臉形狀點跟蹤的第一幀的情況下，從至少一個人臉框中選擇任一人臉框作為當前人臉框；且/或，在當前視頻幀不是執行人臉形狀點跟蹤的第一幀的情況下，如果至少一個人臉框中存在與基于前一視頻幀計算獲得的所有待跟蹤人臉在當前視頻幀中的后續人臉框不重疊的新人臉框，則選擇任一新人臉框作為當前人臉框。

根據本發明另一方面，提供了一種人臉形狀點跟蹤裝置，包括：人臉檢測模塊，用于對當前視頻幀進行人臉檢測，以獲得至少一個人臉框；選擇模塊，用于從至少一個人臉框中選擇待跟蹤人臉在當前視頻幀中的當前人臉框；形狀點定位模塊，用于基于當前人臉框進行人臉形狀點定位，以確定待跟蹤人臉的當前人臉形狀點；人臉框計算模塊，用于基于當前人臉框計算待跟蹤人臉在下一視頻幀中的后續人臉框；以及第一視頻幀確定模塊，用于確定下一視頻幀為當前視頻幀并啟動形狀點定位模塊。