[發(fā)明專利]一種人臉關(guān)鍵點(diǎn)追蹤方法及應(yīng)用和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710930086.1
• 申請(qǐng)日: 2017-10-09
• 公開（公告）號(hào): CN107704829B
• 公開（公告）日: 2019-12-03
• 發(fā)明（設(shè)計(jì)）人: 李亮;陳少杰;張文明
• 申請(qǐng)（專利權(quán)）人: 武漢斗魚網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 11570 北京眾達(dá)德權(quán)知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 劉杰<國(guó)際申請(qǐng)>=<國(guó)際公布>=<進(jìn)入國(guó)

本發(fā)明公開了一種人臉關(guān)鍵點(diǎn)追蹤方法及應(yīng)用和裝置，該方法包括：采集當(dāng)前視頻圖像幀；從當(dāng)前視頻圖像幀中定位出人臉關(guān)鍵點(diǎn)；判斷當(dāng)前視頻圖像幀中的人臉相對(duì)于當(dāng)前視頻圖像幀的上一視頻圖像幀中的人臉是否移動(dòng)；如果當(dāng)前視頻圖像幀中的人臉相對(duì)于上一視頻圖像幀中的人臉存在移動(dòng)，將從當(dāng)前視頻圖像幀中定位出的人臉關(guān)鍵點(diǎn)確定為當(dāng)前視頻圖像幀的有效人臉關(guān)鍵點(diǎn)，如果當(dāng)前視頻圖像幀中的人臉相對(duì)于上一視頻圖像幀中的人臉不存在移動(dòng)，則將從當(dāng)前視頻圖像幀中定位出的人臉關(guān)鍵點(diǎn)與上一視頻圖像幀中對(duì)應(yīng)位置的有效人臉關(guān)鍵點(diǎn)進(jìn)行加權(quán)和的結(jié)果確定為當(dāng)前視頻圖像幀的有效人臉關(guān)鍵點(diǎn)，通過(guò)本發(fā)明完全避免了視頻中人臉關(guān)鍵點(diǎn)追蹤時(shí)抖動(dòng)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種人臉關(guān)鍵點(diǎn)追蹤方法及應(yīng)用和裝置。

背景技術(shù)

近來(lái)，級(jí)聯(lián)形狀回歸模型在人臉關(guān)鍵點(diǎn)定位任務(wù)上取得了重大突破，該方法使用回歸模型，直接學(xué)習(xí)從人臉圖像到人臉關(guān)鍵點(diǎn)位置的映射函數(shù)，進(jìn)而建立從輸入到輸出的對(duì)應(yīng)關(guān)系。此類方法簡(jiǎn)單高效，在可控場(chǎng)景(實(shí)驗(yàn)室條件下采集的人臉)和非可控場(chǎng)景(網(wǎng)絡(luò)人臉圖像等)均取得不錯(cuò)的關(guān)鍵點(diǎn)定位效果。此外，基于深度學(xué)習(xí)的面部特征點(diǎn)定位方法也取得令人矚目的結(jié)果。

雖然目前已經(jīng)有較為成熟的人臉關(guān)鍵點(diǎn)定位算法，但是目前的人臉關(guān)鍵點(diǎn)定位算法在視頻追蹤中，定位出的人臉關(guān)鍵點(diǎn)會(huì)出現(xiàn)抖動(dòng)的現(xiàn)象，抖動(dòng)對(duì)人臉關(guān)鍵點(diǎn)的應(yīng)用會(huì)產(chǎn)生極大的影響，例如，在美型的放大眼睛功能中，如果定位出的人眼位置在不停地抖動(dòng)那么放大后的眼睛也會(huì)出現(xiàn)不停地抖動(dòng)，進(jìn)而會(huì)導(dǎo)致那么這個(gè)美型效果就比較差。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例通過(guò)提供一種人臉關(guān)鍵點(diǎn)追蹤方法及應(yīng)用和裝置，解決了現(xiàn)有人臉關(guān)鍵點(diǎn)定位算法在視頻追蹤中定位出的人臉關(guān)鍵點(diǎn)會(huì)出現(xiàn)抖動(dòng)的技術(shù)問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供一種人臉關(guān)鍵點(diǎn)追蹤方法，包括：

采集當(dāng)前視頻圖像幀；

從所述當(dāng)前視頻圖像幀中定位出人臉關(guān)鍵點(diǎn)；

判斷所述當(dāng)前視頻圖像幀中的人臉相對(duì)于所述當(dāng)前視頻圖像幀的上一視頻圖像幀中的人臉是否移動(dòng)；

如果是，將從所述當(dāng)前視頻圖像幀中定位出的人臉關(guān)鍵點(diǎn)確定為所述當(dāng)前視頻圖像幀的有效人臉關(guān)鍵點(diǎn)，否則，將從所述當(dāng)前視頻圖像幀中定位出的人臉關(guān)鍵點(diǎn)與所述上一視頻圖像幀中對(duì)應(yīng)位置的有效人臉關(guān)鍵點(diǎn)進(jìn)行加權(quán)和，加權(quán)和結(jié)果確定為所述當(dāng)前視頻圖像幀的有效人臉關(guān)鍵點(diǎn)。

可選的，所述判斷所述當(dāng)前視頻圖像幀中的人臉相對(duì)于所述上一視頻圖像幀中的人臉是否移動(dòng)，包括：

獲取所述當(dāng)前視頻圖像幀中的每個(gè)像素點(diǎn)；

根據(jù)所述當(dāng)前視頻圖像幀中的各個(gè)像素點(diǎn)與所述上一視頻圖像幀中對(duì)應(yīng)位置的像素點(diǎn)之間的差值，確定出所述當(dāng)前視頻圖像幀相對(duì)于所述上一視頻圖像幀的第一像素差均值；

判斷所述第一像素差均值是否大于像素差閾值；

如果是，確定所述當(dāng)前視頻圖像幀中的人臉相對(duì)于所述上一視頻圖像幀中的人臉存在移動(dòng)，否則，確定所述當(dāng)前視頻圖像幀中的人臉相對(duì)于所述上一視頻圖像幀中的人臉不存在移動(dòng)。

可選的，所述判斷所述當(dāng)前視頻圖像幀中的人臉相對(duì)于所述上一視頻圖像幀中的人臉是否移動(dòng)，包括：

根據(jù)從所述當(dāng)前視頻圖像幀中定位出的各個(gè)人臉關(guān)鍵點(diǎn)與從所述上一視頻圖像幀中定位出的對(duì)應(yīng)位置的人臉關(guān)鍵點(diǎn)之間的差值，確定出所述當(dāng)前視頻圖像幀相對(duì)于所述上一視頻圖像幀的第二像素差均值；

判斷所述第二像素差均值是否大于像素差閾值；

如果是，確定所述當(dāng)前視頻圖像幀中的人臉相對(duì)于所述上一視頻圖像幀中的人臉存在移動(dòng)，否則，確定所述當(dāng)前視頻圖像幀中的人臉相對(duì)于上一視頻圖像幀中的人臉不存在移動(dòng)。