[發(fā)明專利]人臉特征點(diǎn)檢測增強(qiáng)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710856765.9
• 申請(qǐng)日: 2017-09-21
• 公開（公告）號(hào): CN107516092A
• 公開（公告）日: 2017-12-26
• 發(fā)明（設(shè)計(jì)）人: 袁家劼
• 申請(qǐng)（專利權(quán)）人: 天津呼?；士萍加邢薰?/a>
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06T7/277
• 代理公司: 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11371
• 代理人: 張紅平

技術(shù)領(lǐng)域

本發(fā)明涉及人臉識(shí)別的技術(shù)領(lǐng)域，尤其是涉及一種人臉特征點(diǎn)檢測增強(qiáng)方法及裝置。

背景技術(shù)

隨著智能硬件的飛速發(fā)展，人工智能與機(jī)器學(xué)習(xí)的成果越來越多的應(yīng)用到了移動(dòng)端，人臉檢測與人臉特征點(diǎn)檢測的技術(shù)被更多的手機(jī)APP使用。一些簡單的美圖軟件，視頻交互軟件，AR特效軟件等等，都使用到了人臉檢測和特征點(diǎn)檢測的技術(shù)。

然而，目前的特征點(diǎn)檢測技術(shù)在實(shí)時(shí)的視頻中存在定位抖動(dòng)的問題，當(dāng)然這些問題可以通過不停的加大訓(xùn)練樣本，完善特征定位模型，以及多幀平均的方式減緩其抖動(dòng)的幅度。但是這些改進(jìn)又會(huì)帶來新的問題，比如增大樣本訓(xùn)練模型，相當(dāng)于直接增加模型的成本。樣本的擴(kuò)充可能需要幾十到上百萬的標(biāo)注樣本，以數(shù)據(jù)堂的標(biāo)注樣本售價(jià)為標(biāo)準(zhǔn)，一張標(biāo)注好的樣本成本在1.5元以上，所以模型迭代基本以百萬的耗資為基數(shù)。更離譜得是，模型就算訓(xùn)練得再好，也不能消除抖動(dòng)，最多只能減緩其趨勢。其次是多幀的預(yù)測結(jié)果作均值，這樣雖然可以有效得消除抖動(dòng)，但是如果視頻中的人物頭部運(yùn)動(dòng)較劇烈就會(huì)產(chǎn)生嚴(yán)重得拖影，反饋在用戶上的感覺就像是渲染在頭部的特效并沒有與渲染部位完美得融合，而像是被頭部拖著跑，嚴(yán)重影響用戶體驗(yàn)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種人臉特征點(diǎn)檢測增強(qiáng)方法及裝置，以緩解了現(xiàn)有技術(shù)中存在的在采用傳統(tǒng)的人臉特征檢測技術(shù)檢測人臉特征點(diǎn)時(shí)穩(wěn)定性較差的技術(shù)問題。

第一方面，本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)檢測增強(qiáng)方法，包括：獲取當(dāng)前時(shí)刻待處理的視頻幀圖像；通過預(yù)設(shè)特征點(diǎn)檢測算法和卡爾曼濾波算法在所述視頻幀圖像中對(duì)預(yù)設(shè)人臉特征點(diǎn)進(jìn)行預(yù)測，分別得到第一預(yù)測特征點(diǎn)和第二預(yù)測特征點(diǎn)，其中，所述預(yù)設(shè)人臉特征點(diǎn)為預(yù)先分配卡爾曼濾波器的特征點(diǎn)；對(duì)所述第一預(yù)測特征點(diǎn)和所述第二預(yù)測特征點(diǎn)進(jìn)行分析，以根據(jù)分析結(jié)果確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值。

進(jìn)一步地，對(duì)所述預(yù)測特征點(diǎn)和所述第二預(yù)測特征點(diǎn)進(jìn)行分析，以根據(jù)分析結(jié)果確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值包括：計(jì)算所述第一預(yù)測特征點(diǎn)和所述第二預(yù)測特征點(diǎn)之間的坐標(biāo)距離；判斷所述坐標(biāo)距離是否小于預(yù)設(shè)距離；當(dāng)所述坐標(biāo)距離小于所述預(yù)設(shè)距離時(shí)，則確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值為所述第一預(yù)測特征點(diǎn)；當(dāng)所述坐標(biāo)距離大于所述預(yù)設(shè)距離時(shí)，則確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值為所述第二預(yù)測特征點(diǎn)。

進(jìn)一步地，所述預(yù)設(shè)特征點(diǎn)的數(shù)量為多個(gè)，計(jì)算所述第一預(yù)測特征點(diǎn)和所述第二預(yù)測特征點(diǎn)之間的坐標(biāo)距離包括：依次計(jì)算第一特征點(diǎn)i與第二特征點(diǎn)j之間的坐標(biāo)距離，得到多個(gè)坐標(biāo)距離，所述第一特征點(diǎn)i為所述第一預(yù)測特征點(diǎn)中的特征點(diǎn)，所述第二特征點(diǎn)j為所述第二預(yù)測特征點(diǎn)中的特征點(diǎn)，且所述第一特征點(diǎn)i和所述第二特征點(diǎn)j對(duì)應(yīng)相同的預(yù)設(shè)人臉特征點(diǎn)。

進(jìn)一步地，判斷所述坐標(biāo)距離是否小于預(yù)設(shè)距離包括：判斷所述多個(gè)坐標(biāo)距離中的每個(gè)坐標(biāo)距離是否均小于所述預(yù)設(shè)距離；其中，如果判斷出是，則確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值為所述第一預(yù)測特征點(diǎn)；如果判斷出否，則基于所述坐標(biāo)距離中小于所述預(yù)設(shè)距離的數(shù)量確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值。

進(jìn)一步地，基于所述坐標(biāo)距離中小于所述預(yù)設(shè)距離的數(shù)量確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值包括：判斷所述數(shù)量是否大于預(yù)設(shè)數(shù)量；如果判斷出是，則確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值為所述第一預(yù)測特征點(diǎn)；如果判斷出否，則確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值為所述第二預(yù)測特征點(diǎn)。

進(jìn)一步地，在獲取當(dāng)前時(shí)刻待處理的視頻幀圖像之前，所述方法還包括：獲取預(yù)先設(shè)置的待預(yù)測的人臉特征點(diǎn)；為每個(gè)所述人臉特征點(diǎn)預(yù)先分配一個(gè)卡爾曼濾波器。

第二方面，本發(fā)明實(shí)施例還提供一種人臉特征點(diǎn)檢測增強(qiáng)裝置，包括：第一獲取單元，用于獲取當(dāng)前時(shí)刻待處理的視頻幀圖像；預(yù)測單元，用于通過預(yù)設(shè)特征點(diǎn)檢測算法和卡爾曼濾波算法在所述視頻幀圖像中對(duì)預(yù)設(shè)人臉特征點(diǎn)進(jìn)行預(yù)測，分別得到第一預(yù)測特征點(diǎn)和第二預(yù)測特征點(diǎn)，其中，所述預(yù)設(shè)人臉特征點(diǎn)為預(yù)先分配卡爾曼濾波器的特征點(diǎn)；分析單元，用于對(duì)所述第一預(yù)測特征點(diǎn)和所述第二預(yù)測特征點(diǎn)進(jìn)行分析，以根據(jù)分析結(jié)果確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值。

進(jìn)一步地，所述預(yù)測單元包括：計(jì)算模塊，用于計(jì)算所述第一預(yù)測特征點(diǎn)和所述第二預(yù)測特征點(diǎn)之間的坐標(biāo)距離；判斷模塊，用于判斷所述坐標(biāo)距離是否小于預(yù)設(shè)距離；第一確定模塊，用于當(dāng)所述坐標(biāo)距離小于所述預(yù)設(shè)距離時(shí)，則確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值為所述第一預(yù)測特征點(diǎn)；第二確定模塊，用于當(dāng)所述坐標(biāo)距離大于所述預(yù)設(shè)距離時(shí)，則確定所述視頻幀圖像的人臉特征點(diǎn)的預(yù)測值為所述第二預(yù)測特征點(diǎn)。