[發(fā)明專利]智能交互式人臉關(guān)鍵點(diǎn)標(biāo)注方法

有效

• 申請?zhí)枺?/td>: 201710486633.1
• 申請日: 2017-06-23
• 公開（公告）號: CN107423689B
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 張舉勇
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京凱特來知識產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發(fā)明公開了一種智能交互式人臉關(guān)鍵點(diǎn)標(biāo)注方法，包括：通過人臉檢測算法得到人臉矩形框并提取其中的人臉關(guān)鍵點(diǎn)集合P；若人臉關(guān)鍵點(diǎn)集合P不滿足要求，則利用人臉關(guān)鍵點(diǎn)集合P建立3D人臉模型M，并將3D人臉模型M中對應(yīng)的人臉關(guān)鍵點(diǎn)重新投影到2D圖片中，得到新的人臉關(guān)鍵點(diǎn)集合P1；再根據(jù)用戶返回的操作指令對人臉關(guān)鍵點(diǎn)集合P1中不準(zhǔn)確的關(guān)鍵點(diǎn)重新進(jìn)行編輯，并利用編輯后的人臉關(guān)鍵點(diǎn)集合P2與3D人臉模型M重新預(yù)測人臉關(guān)鍵點(diǎn)集合P3；若人臉關(guān)鍵點(diǎn)集合P3滿足要求，則直接輸出；否則，結(jié)合人臉關(guān)鍵點(diǎn)集合P3重復(fù)上述步驟直至滿足要求。上述方法能極大提高人臉關(guān)鍵點(diǎn)標(biāo)注的效率，對于不同環(huán)境，不同類型的人臉都能快速得到精確的結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉識別技術(shù)領(lǐng)域，尤其涉及一種智能交互式人臉關(guān)鍵點(diǎn)標(biāo)注方法。

背景技術(shù)

人臉識別是基于人臉的臉部特征信息進(jìn)行身份識別的一種生物信息識別技術(shù)，在電子商務(wù)，安防等領(lǐng)域有著廣泛的應(yīng)用。該任務(wù)對于人眼來說只是一個簡單的問題，但計(jì)算機(jī)眼中的圖像只是一串普通的01字符串，因此使用計(jì)算機(jī)進(jìn)行人臉識別是一個極為復(fù)雜困難又具有極高實(shí)用性的重要問題。

人臉識別的任務(wù)一般分為四個步驟：

1、對圖像進(jìn)行人臉檢測，在原圖中剪切出僅包含人臉的一張圖片；

2、對步驟1中得到圖片中的人臉進(jìn)行關(guān)鍵點(diǎn)檢測，得到對應(yīng)于每一個位置的人臉關(guān)鍵點(diǎn)；

3、利用步驟2中得到的人臉關(guān)鍵點(diǎn)對人臉圖片進(jìn)行對齊，在對齊之后的人臉圖片進(jìn)行特征提取，輸出該人臉對應(yīng)的特征信息；

4、由分類器對步驟3得到的特征進(jìn)行分類判斷，得到身份識別的結(jié)果。

而其中關(guān)鍵點(diǎn)檢測的準(zhǔn)確性對于特征提取以及后續(xù)的分類起著極為重要的作用。現(xiàn)有的許多關(guān)鍵點(diǎn)檢測算法采用學(xué)習(xí)的方法，若想取得較好的泛化性需要大量不同人種不同姿態(tài)的人臉圖片與其關(guān)鍵點(diǎn)信息作為訓(xùn)練數(shù)據(jù)。若采用手動標(biāo)注的方式將會消耗大量的人力，即使采用自動標(biāo)注與手動標(biāo)注結(jié)合的方式標(biāo)注的效率依然很低。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種智能交互式人臉關(guān)鍵點(diǎn)標(biāo)注方法，能根據(jù)用戶與3D人臉模型的關(guān)鍵點(diǎn)集合交互，得到更精確的關(guān)鍵點(diǎn)，對提高人臉關(guān)鍵點(diǎn)標(biāo)注任務(wù)的效率有極大價值。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種智能交互式人臉關(guān)鍵點(diǎn)標(biāo)注方法，包括：

步驟A、通過人臉檢測算法得到人臉矩形框；

步驟B、利用人臉關(guān)鍵點(diǎn)檢測算法預(yù)測人臉矩形框中的人臉關(guān)鍵點(diǎn)集合P；

步驟C、根據(jù)用戶反饋的消息判斷人臉關(guān)鍵點(diǎn)集合P是否滿足要求；若否，則利用人臉關(guān)鍵點(diǎn)集合P建立3D人臉模型M，并將3D人臉模型M中對應(yīng)的人臉關(guān)鍵點(diǎn)重新投影到2D圖片中，得到新的人臉關(guān)鍵點(diǎn)集合P1；

步驟D、根據(jù)用戶返回的操作指令對人臉關(guān)鍵點(diǎn)集合P1中不準(zhǔn)確的關(guān)鍵點(diǎn)重新進(jìn)行編輯，獲得編輯后的人臉關(guān)鍵點(diǎn)集合P2；

步驟E、利用編輯后的人臉關(guān)鍵點(diǎn)集合P2與3D人臉模型M重新預(yù)測人臉關(guān)鍵點(diǎn)集合P3；

步驟F、根據(jù)用戶反饋的消息判斷人臉關(guān)鍵點(diǎn)集合P3是否滿足要求；若是，則直接輸出；若否，則結(jié)合人臉關(guān)鍵點(diǎn)集合P3重復(fù)上述步驟C～步驟E直至滿足要求。

所述3D人臉模型M中包括：平均人臉身份向量A_id、身份向量系數(shù)α_id、表情向量A_exp以及表情向量系數(shù)α_exp，表示為：

所述將3D人臉模型M中對應(yīng)的人臉關(guān)鍵點(diǎn)重新投影到2D圖片中，得到新的人臉關(guān)鍵點(diǎn)集合P1的步驟為：