[發(fā)明專利]一種人臉追蹤方法、裝置及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010325777.0
• 申請(qǐng)日: 2020-04-23
• 公開（公告）號(hào): CN111667504B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 徐波
• 申請(qǐng)（專利權(quán)）人: 廣州多益網(wǎng)絡(luò)股份有限公司;廣東利為網(wǎng)絡(luò)科技有限公司;多益網(wǎng)絡(luò)有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/269
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

1.一種人臉追蹤方法，其特征在于，包括：

獲取當(dāng)前幀圖片、上一幀圖片以及上一幀圖片中的人臉關(guān)鍵點(diǎn)；其中，所述人臉關(guān)鍵點(diǎn)包括：人臉五官的位置信息；

根據(jù)預(yù)設(shè)的人臉識(shí)別神經(jīng)網(wǎng)絡(luò)對(duì)所述當(dāng)前幀圖片進(jìn)行計(jì)算，得到當(dāng)前幀圖片的第一人臉關(guān)鍵點(diǎn)；

所述當(dāng)前幀圖片、所述上一幀圖片以及所述上一幀圖片中的人臉關(guān)鍵點(diǎn)按照預(yù)設(shè)的光流算法進(jìn)行計(jì)算，得到當(dāng)前幀圖片的第二人臉關(guān)鍵點(diǎn)；

根據(jù)預(yù)設(shè)的人臉追蹤判斷條件對(duì)所述第一人臉關(guān)鍵點(diǎn)與所述第二人臉關(guān)鍵點(diǎn)進(jìn)行判斷，根據(jù)判斷結(jié)果選擇對(duì)應(yīng)的人臉關(guān)鍵點(diǎn)為當(dāng)前幀的最終人臉關(guān)鍵點(diǎn)；

所述根據(jù)預(yù)設(shè)的人臉追蹤判斷條件對(duì)所述第一人臉關(guān)鍵點(diǎn)與所述第二人臉關(guān)鍵點(diǎn)進(jìn)行判斷，根據(jù)判斷結(jié)果選擇對(duì)應(yīng)的人臉關(guān)鍵點(diǎn)為當(dāng)前幀的最終人臉關(guān)鍵點(diǎn)，具體包括：

判斷所述第一人臉關(guān)鍵點(diǎn)與所述第二人臉關(guān)鍵點(diǎn)的差值的絕對(duì)值是否大于預(yù)設(shè)的第一閾值；

響應(yīng)于判斷結(jié)果小于預(yù)設(shè)的第一閾值，則判斷所述第一人臉關(guān)鍵點(diǎn)與所述第二人臉關(guān)鍵點(diǎn)的差值的絕對(duì)值是否小于預(yù)設(shè)的第二閾值；

響應(yīng)于判斷結(jié)果小于預(yù)設(shè)的第二閾值，則選擇所述第二人臉關(guān)鍵點(diǎn)為當(dāng)前幀的最終人臉關(guān)鍵點(diǎn)；

響應(yīng)于判斷結(jié)果不小于預(yù)設(shè)的第二閾值，則根據(jù)所述第一人臉關(guān)鍵點(diǎn)與所述第二人臉關(guān)鍵點(diǎn)的差值的絕對(duì)值，在所述第二人臉關(guān)鍵點(diǎn)的位置信息上增加對(duì)應(yīng)的偏移量。

2.如權(quán)利要求1所述的人臉追蹤方法，其特征在于，在所述獲取當(dāng)前幀圖片、上一幀圖片以及上一幀圖片中的人臉關(guān)鍵點(diǎn)之后，所述根據(jù)預(yù)設(shè)的人臉識(shí)別神經(jīng)網(wǎng)絡(luò)對(duì)所述當(dāng)前幀圖片進(jìn)行計(jì)算，得到當(dāng)前幀圖片的第一人臉關(guān)鍵點(diǎn)之前，所述方法還包括：

根據(jù)上一幀圖片中的人臉關(guān)鍵點(diǎn)計(jì)算出所述上一幀圖片中的人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的外切矩陣；

根據(jù)當(dāng)前幀圖片對(duì)所述外切矩陣按照預(yù)設(shè)的比例進(jìn)行調(diào)整，得到前幀圖片的截取矩陣。

3.如權(quán)利要求2所述的人臉追蹤方法，其特征在于，所述根據(jù)預(yù)設(shè)的人臉識(shí)別神經(jīng)網(wǎng)絡(luò)對(duì)所述當(dāng)前幀圖片進(jìn)行計(jì)算，得到當(dāng)前幀圖片的第一人臉關(guān)鍵點(diǎn)，具體包括：

將所述當(dāng)前幀圖片截取矩陣按照預(yù)設(shè)的排列方式輸入至所述預(yù)設(shè)的人臉識(shí)別神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算，得到當(dāng)前幀圖片的第一人臉關(guān)鍵點(diǎn)。

4.如權(quán)利要求1所述的人臉追蹤方法，其特征在于，所述當(dāng)前幀圖片、所述上一幀圖片以及所述上一幀圖片中的人臉關(guān)鍵點(diǎn)按照預(yù)設(shè)的光流算法進(jìn)行計(jì)算，得到當(dāng)前幀圖片的第二人臉關(guān)鍵點(diǎn)，具體包括：

將所述上一幀圖片中人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的像素點(diǎn)標(biāo)記為有效像素點(diǎn)；

根據(jù)預(yù)設(shè)的光流算法對(duì)所述上一幀圖片中人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的像素點(diǎn)與所述當(dāng)前幀圖片的像素點(diǎn)進(jìn)行對(duì)比計(jì)算，得到各個(gè)像素點(diǎn)對(duì)應(yīng)的偏移量；

在所述有效像素點(diǎn)上增加其對(duì)應(yīng)的偏移量，得到當(dāng)前幀圖片的第二人臉關(guān)鍵點(diǎn)。

5.如權(quán)利要求1所述的人臉追蹤方法，其特征在于，在所述判斷所述第一人臉關(guān)鍵點(diǎn)與所述第二人臉關(guān)鍵點(diǎn)的差值的絕對(duì)值是否大于預(yù)設(shè)的第一閾值之后，還包括：

響應(yīng)于判斷結(jié)果大于預(yù)設(shè)的第一閾值，則選擇所述第一人臉關(guān)鍵點(diǎn)為當(dāng)前幀的最終人臉關(guān)鍵點(diǎn)。

6.如權(quán)利要求1所述的人臉追蹤方法，其特征在于，在所述獲取當(dāng)前幀圖片、上一幀圖片以及上一幀圖片中的人臉關(guān)鍵點(diǎn)之前，還包括：

判斷所述上一幀圖片中的人臉關(guān)鍵點(diǎn)是否存在；

響應(yīng)于判斷結(jié)果為存在，則獲取上一幀圖片中的人臉關(guān)鍵點(diǎn)；

響應(yīng)于判斷結(jié)果為不存在，則根據(jù)預(yù)設(shè)的人臉檢測(cè)算法對(duì)當(dāng)前幀圖片進(jìn)行處理，得到當(dāng)前幀圖片的截取矩陣。

7.如權(quán)利要求1所述的人臉追蹤方法，其特征在于，所述方法還包括：

在預(yù)設(shè)的周期內(nèi)根據(jù)預(yù)設(shè)的人臉檢測(cè)算法對(duì)所述當(dāng)前幀圖片進(jìn)行檢查，以判斷所述當(dāng)前幀圖片中是否有新增的人臉。