[發(fā)明專利]一種人臉特征點(diǎn)追蹤方法、系統(tǒng)、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011191411.5
• 申請(qǐng)日: 2020-10-30
• 公開（公告）號(hào): CN112417985A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 肖傳寶;陳白潔
• 申請(qǐng)（專利權(quán)）人: 杭州魔點(diǎn)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 杭州創(chuàng)智卓英知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33324
• 代理人: 張超

1.一種人臉特征點(diǎn)追蹤方法，其特征在于，所述方法包括：

通過(guò)算法模型獲取人臉關(guān)鍵點(diǎn)坐標(biāo)包括：

通過(guò)關(guān)鍵點(diǎn)檢測(cè)模型預(yù)測(cè)出第一幀圖像的關(guān)鍵點(diǎn)位置坐標(biāo)；根據(jù)所述關(guān)鍵點(diǎn)位置坐標(biāo)獲取第一關(guān)鍵點(diǎn)框，基于所述第一關(guān)鍵點(diǎn)框在第二幀圖像相同位置上確定第二關(guān)鍵點(diǎn)框；將所述第二關(guān)鍵點(diǎn)框輸入到回歸網(wǎng)絡(luò)中，通過(guò)所述回歸網(wǎng)絡(luò)獲取第二幀圖像的關(guān)鍵點(diǎn)坐標(biāo)偏移量；所述第一幀圖像的所述關(guān)鍵點(diǎn)坐標(biāo)與所述關(guān)鍵點(diǎn)坐標(biāo)偏移量相減得到所述第二幀圖像的所述關(guān)鍵點(diǎn)坐標(biāo)；

所述算法模型應(yīng)用于設(shè)備端用于跟蹤人臉特征點(diǎn)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)所述關(guān)鍵點(diǎn)檢測(cè)模型預(yù)測(cè)出第一幀圖像的關(guān)鍵點(diǎn)位置坐標(biāo)包括：

縮放函數(shù)將所述第一幀圖像中的人臉框縮放生成縮放人臉框，將所述縮放人臉框輸入所述關(guān)鍵點(diǎn)檢測(cè)模型后預(yù)測(cè)得出初始關(guān)鍵點(diǎn)位置坐標(biāo)；

再通過(guò)映射函數(shù)將所述初始關(guān)鍵點(diǎn)坐標(biāo)映射到所述第一幀圖像上得到所述第一幀圖像的所述關(guān)鍵點(diǎn)位置坐標(biāo)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)所述關(guān)鍵點(diǎn)包括：左眼中心、右眼中心、鼻子中心、左嘴角和右嘴角。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一幀圖像和所述第二幀圖像為視頻流中連續(xù)的兩幀圖像。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于,所述第一幀圖像包含人臉框標(biāo)簽，所述關(guān)鍵點(diǎn)檢測(cè)模型依據(jù)所述人臉框標(biāo)簽獲取人臉框位置。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述回歸網(wǎng)絡(luò)是基于調(diào)整后的mobilenet-v2網(wǎng)絡(luò)模型。

7.一種人臉特征點(diǎn)追蹤系統(tǒng)，其特征在于，所述系統(tǒng)包括：

信息獲取模塊，用于采集人臉實(shí)時(shí)信息或者離線視頻流；

存儲(chǔ)模塊模塊，用于存儲(chǔ)人臉跟蹤模型及其他計(jì)算機(jī)程序；

處理模塊，用于運(yùn)行所述人臉跟蹤模型和其他計(jì)算機(jī)程序。

8.一種人臉特征點(diǎn)追蹤系統(tǒng)，其特征在于，所述檢測(cè)跟蹤模塊通過(guò)將第一幀圖像的關(guān)鍵點(diǎn)位置坐標(biāo)與第二幀圖像的關(guān)鍵點(diǎn)坐標(biāo)偏移量相減得到第二幀圖像的所述關(guān)鍵點(diǎn)坐標(biāo)。

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的人臉特征點(diǎn)追蹤方法方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的人臉特征點(diǎn)追蹤方法。