[發明專利]人臉形狀點跟蹤方法、裝置和系統及存儲介質

有效

• 申請號: 201711146381.4
• 申請日: 2017-11-17
• 公開（公告）號: CN108875506B
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 熊鵬飛
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰;戴亞南

1.一種人臉形狀點跟蹤方法，包括：

步驟S210：對當前視頻幀進行人臉檢測，以獲得至少一個人臉框；

步驟S220：從所述至少一個人臉框中選擇待跟蹤人臉在所述當前視頻幀中的當前人臉框；

步驟S230：基于所述當前人臉框進行人臉形狀點定位，以確定所述待跟蹤人臉的當前人臉形狀點；

步驟S240：基于所述當前人臉框計算所述待跟蹤人臉在下一視頻幀中的后續人臉框；以及

步驟S250：確定所述下一視頻幀為所述當前視頻幀并返回所述步驟S230；

其中，所述步驟S240包括：

采用人臉跟蹤算法，基于所述當前人臉框計算所述下一視頻幀中與所述當前人臉框對應的預估人臉框；

計算所述當前人臉框與所述預估人臉框之間的偏移量；

根據所述當前人臉形狀點和所述偏移量確定所述下一視頻幀中與所述當前人臉形狀點對應的預估人臉形狀點；以及

根據所述預估人臉形狀點調整所述預估人臉框以獲得所述后續人臉框。

2.如權利要求1所述的方法，其中，所述采用人臉跟蹤算法，基于所述當前人臉框計算所述下一視頻幀中與所述當前人臉框對應的預估人臉框包括：

根據所述當前人臉形狀點調整所述當前人臉框；以及

采用人臉跟蹤算法，基于調整后的人臉框計算所述預估人臉框。

3.如權利要求2所述的方法，其中，所述根據所述當前人臉形狀點調整所述當前人臉框包括：

將所述當前人臉框調整為所述當前人臉形狀點的外包圍盒。

4.如權利要求1所述的方法，其中，在所述步驟S220之后且在所述步驟S240之前，所述方法還包括：

步驟S222：計算所述當前人臉框中包含人臉的置信度；

步驟S224：判斷所述置信度是否小于預設閾值，如果是，則轉至步驟S226；

步驟S226：確定所述下一視頻幀為所述當前視頻幀并返回所述步驟S210；

其中，所述步驟S240在所述置信度大于或等于所述預設閾值的情況下執行。

5.如權利要求4所述的方法，其中，所述步驟S222和所述步驟S230利用同一卷積神經網絡實現。

6.如權利要求1所述的方法，其中，所述步驟S220包括：

在所述當前視頻幀是執行人臉形狀點跟蹤的第一幀的情況下，從所述至少一個人臉框中選擇任一人臉框作為所述當前人臉框；且/或，

在所述當前視頻幀不是執行人臉形狀點跟蹤的第一幀的情況下，如果所述至少一個人臉框中存在與基于前一視頻幀計算獲得的所有待跟蹤人臉在所述當前視頻幀中的后續人臉框不重疊的新人臉框，則選擇任一新人臉框作為所述當前人臉框。

7.一種人臉形狀點跟蹤裝置，包括：

人臉檢測模塊，用于對當前視頻幀進行人臉檢測，以獲得至少一個人臉框；

選擇模塊，用于從所述至少一個人臉框中選擇待跟蹤人臉在所述當前視頻幀中的當前人臉框；

形狀點定位模塊，用于基于所述當前人臉框進行人臉形狀點定位，以確定所述待跟蹤人臉的當前人臉形狀點；

人臉框計算模塊，用于基于所述當前人臉框計算所述待跟蹤人臉在下一視頻幀中的后續人臉框；以及

第一視頻幀確定模塊，用于確定所述下一視頻幀為所述當前視頻幀并啟動所述形狀點定位模塊；

其中，所述人臉框計算模塊包括：

第一計算子模塊，用于采用人臉跟蹤算法，基于所述當前人臉框計算所述下一視頻幀中與所述當前人臉框對應的預估人臉框；

偏移量計算子模塊，用于計算所述當前人臉框與所述預估人臉框之間的偏移量；

形狀點確定子模塊，用于根據所述當前人臉形狀點和所述偏移量確定所述下一視頻幀中與所述當前人臉形狀點對應的預估人臉形狀點；以及

第二調整子模塊，用于根據所述預估人臉形狀點調整所述預估人臉框以獲得所述后續人臉框。