[發明專利]一種人臉關鍵點跟蹤方法和裝置

有效

• 申請號: 201611121387.1
• 申請日: 2016-12-08
• 公開（公告）號: CN106778585B
• 公開（公告）日: 2019-04-16
• 發明（設計）人: 汪鋮杰;倪輝;趙艷丹;王亞彪;丁守鴻;李紹欣;趙凌;李季檁;吳永堅;黃飛躍;梁亦聰
• 申請（專利權）人: 騰訊科技（上海）有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 黃威

1.一種人臉關鍵點跟蹤方法，其特征在于，包括：

在視頻流中獲取當前需要處理的圖像，得到當前幀；

獲取當前幀的上一幀圖像的人臉關鍵點坐標、以及所述上一幀圖像的人臉關鍵點坐標的置信度；

在置信度高于預設閾值時，計算所述上一幀圖像的人臉關鍵點坐標的包絡框，得到配準坐標框；

確定當前的空閑計算資源不大于設定量時，將所述配準坐標框作為當前幀中人臉關鍵點的包絡框，以推算出該當前幀中人臉關鍵點的位置，得到當前幀的人臉關鍵點坐標；

確定當前的空閑計算資源大于設定量時，對當前幀中的人臉位置進行檢測，得到檢測坐標框，將所述配準坐標框和檢測坐標框進行合并，得到目標坐標框，根據所述目標坐標框計算所述當前幀中人臉關鍵點的位置，得到當前幀的人臉關鍵點坐標；

根據當前幀的人臉關鍵點坐標對當前幀進行多人臉識別，以及計算當前幀的人臉關鍵點坐標的置信度，并返回執行在視頻流中獲取當前需要處理的圖像的步驟，直至視頻流中的圖像均識別完畢。

2.根據權利要求1所述的方法，其特征在于，所述計算所述上一幀圖像的人臉關鍵點坐標的包絡框，得到配準坐標框，包括：

分別計算所述上一幀圖像的人臉關鍵點坐標中所有橫坐標的最小值和最大值，得到最小橫坐標和最大橫坐標；

分別計算所述上一幀圖像的人臉關鍵點坐標中所有縱坐標的最小值和最大值，得到最小縱坐標和最大縱坐標；

根據所述最小橫坐標、最大橫坐標、最小縱坐標和最大縱坐標計算所述人臉關鍵點坐標的包絡框，得到配準坐標框。

3.根據權利要求2所述的方法，其特征在于，所述根據所述最小橫坐標、最大橫坐標、最小縱坐標和最大縱坐標計算所述人臉關鍵點坐標的包絡框，得到配準坐標框，包括：

根據所述最小橫坐標/最大橫坐標、以及最小縱坐標/最大縱坐標確定包絡框的參照點坐標；

計算所述最大橫坐標與最小橫坐標的差，得到包絡框的寬度；

計算所述最大縱坐標與最小縱坐標的差，得到包絡框的高度；

根據所述參照點坐標、寬度和高度繪制包絡框，得到配準坐標框。

4.根據權利要求3所述的方法，其特征在于，所述根據所述最小橫坐標/最大橫坐標、以及最小縱坐標/最大縱坐標確定包絡框的參照點坐標，包括：

將所述包絡框左上角作為參照點，并將所述最小橫坐標和最小縱坐標作為包絡框左上角的坐標；或者，

將所述包絡框左下角作為參照點，并將所述最小橫坐標和最大縱坐標作為包絡框左下角的坐標；或者，

將所述包絡框右上角作為參照點，并將所述最大橫坐標和最小縱坐標作為包絡框左下角的坐標；或者，

將所述包絡框右下角作為參照點，并將所述最大橫坐標和最大縱坐標作為包絡框左下角的坐標。

5.根據權利要求1所述的方法，其特征在于，所述根據當前幀的人臉關鍵點坐標對當前幀進行多人臉識別之前，還包括：

在置信度低于預設閾值時，對當前幀中的人臉位置進行檢測，得到檢測坐標框；

根據檢測坐標框計算所述當前幀中人臉關鍵點的位置，得到當前幀的人臉關鍵點坐標。

6.根據權利要求1所述的方法，其特征在于，所述將所述配準坐標框和檢測坐標框進行合并，得到目標坐標框，包括：

分別計算每個配準坐標框和檢測坐標框的重疊率；

根據所述重疊率對配準坐標框和檢測坐標框進行篩選，得到目標坐標框。

7.根據權利要求6所述的方法，其特征在于，所述根據所述重疊率對配準坐標框和檢測坐標框進行篩選，得到目標坐標框，包括：

若重疊率大于設定值，則刪除對應的檢測坐標框，將對應的配準坐標框確定為目標坐標框；若重疊率小于等于設定值，則將對應的檢測坐標框和配準坐標框均確定為目標坐標框；或者，

若重疊率大于設定值，則刪除對應的配準坐標框，將對應的檢測坐標框確定為目標坐標框；若重疊率小于等于設定值，則將對應的檢測坐標框和配準坐標框均確定為目標坐標框。