[發(fā)明專利]一種人臉跟蹤方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810021959.1
• 申請(qǐng)日: 2018-01-10
• 公開(kāi)（公告）號(hào): CN108268840B
• 公開(kāi)（公告）日: 2020-12-08
• 發(fā)明（設(shè)計(jì)）人: 王斌;王剛
• 申請(qǐng)（專利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/46;G06K9/62;G06T5/00;G06T5/50;G06T7/246
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 黃志華

本申請(qǐng)?zhí)峁┮环N人臉跟蹤方法及裝置，用以降低關(guān)鍵點(diǎn)跟蹤對(duì)初始形狀的依賴性以及提高關(guān)鍵點(diǎn)跟蹤對(duì)復(fù)雜環(huán)境的魯棒性。所述人臉跟蹤方法包括：根據(jù)上一幀人臉圖像獲得的預(yù)測(cè)形狀作為當(dāng)前幀人臉圖像的初始形狀；對(duì)所述初始形狀進(jìn)行降噪處理；將降噪后所述初始形狀在融合形狀約束下進(jìn)行級(jí)聯(lián)回歸預(yù)測(cè)，獲得當(dāng)前幀的最終預(yù)測(cè)形狀。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人臉識(shí)別領(lǐng)域，尤其涉及一種人臉跟蹤方法及裝置。

背景技術(shù)

隨著計(jì)算機(jī)和圖像處理等技術(shù)的高速發(fā)展，人臉識(shí)別技術(shù)也得到了長(zhǎng)足的進(jìn)步；人臉識(shí)別不僅可以用在圖像處理上，而且，也可以應(yīng)用在身份鑒別等領(lǐng)域，因此，近些年來(lái)，人臉識(shí)別也一直是研究的一個(gè)熱點(diǎn)。

人臉關(guān)鍵點(diǎn)的檢測(cè)是人臉識(shí)別的基礎(chǔ)，為了能夠準(zhǔn)確地識(shí)別出視頻流中的人臉，需要對(duì)視頻流中的每一個(gè)人臉進(jìn)行人臉關(guān)鍵點(diǎn)跟蹤。所謂人臉關(guān)鍵點(diǎn)，指的是能夠反映人臉特征的信息，比如眼睛、眉毛、鼻子、嘴巴、以及臉部外輪廓等。

但關(guān)鍵點(diǎn)跟蹤算法依賴初始形狀，受光照、遮擋、姿態(tài)表情影響嚴(yán)重，因而如何降低關(guān)鍵點(diǎn)跟蹤對(duì)初始形狀的依賴性以及提高關(guān)鍵點(diǎn)跟蹤對(duì)復(fù)雜環(huán)境的魯棒性是亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N人臉跟蹤方法及裝置，用以降低關(guān)鍵點(diǎn)跟蹤對(duì)初始形狀的依賴性以及提高關(guān)鍵點(diǎn)跟蹤對(duì)復(fù)雜環(huán)境的魯棒性。

本申請(qǐng)實(shí)施例提供一種人臉跟蹤方法，所述方法包括：

根據(jù)上一幀人臉圖像獲得的預(yù)測(cè)形狀作為當(dāng)前幀人臉圖像的初始形狀；

對(duì)所述初始形狀進(jìn)行降噪處理；

將降噪后所述初始形狀在融合形狀約束下進(jìn)行級(jí)聯(lián)回歸預(yù)測(cè)，獲得當(dāng)前幀的最終預(yù)測(cè)形狀。

優(yōu)選的，所述對(duì)所述初始形狀進(jìn)行降噪處理，具體包括：

對(duì)訓(xùn)練集中多個(gè)訓(xùn)練人臉圖像的真實(shí)形狀進(jìn)行歸一化；

將歸一化后的所述訓(xùn)練人臉圖像對(duì)應(yīng)的樣本形狀進(jìn)行PCA降維，得到n個(gè)主形狀；

根據(jù)n個(gè)所述主形狀對(duì)所述初始形狀進(jìn)行形狀重構(gòu)，獲得降噪后的所述初始形狀。

優(yōu)選的，所述對(duì)訓(xùn)練集中多個(gè)訓(xùn)練人臉圖像的真實(shí)形狀進(jìn)行歸一化，具體包括：

將訓(xùn)練集中的任一所述訓(xùn)練人臉圖像對(duì)應(yīng)的所述真實(shí)形狀作為預(yù)設(shè)基準(zhǔn)形狀，將所有剩下的所述訓(xùn)練人臉圖像對(duì)應(yīng)的所述真實(shí)形狀對(duì)齊到該所述預(yù)設(shè)基準(zhǔn)形狀；

計(jì)算對(duì)齊到所述預(yù)設(shè)基準(zhǔn)形狀后的所有所述訓(xùn)練人臉圖像對(duì)應(yīng)的所述真實(shí)形狀的平均形狀，并將其作為基準(zhǔn)形狀；

將所有所述訓(xùn)練人臉圖像對(duì)應(yīng)的所述真實(shí)形狀對(duì)齊到該所述基準(zhǔn)形狀；

至少重復(fù)一次計(jì)算對(duì)齊到所述基準(zhǔn)形狀后的所有所述真實(shí)形狀的平均形狀，并每一次相應(yīng)將所有所述真實(shí)形狀對(duì)齊到重新確定的平均形狀，直到終止條件。

優(yōu)選的，所述將降噪后所述初始形狀在融合形狀約束下進(jìn)行級(jí)聯(lián)回歸預(yù)測(cè)，獲得當(dāng)前幀的最終預(yù)測(cè)形狀，具體包括：

將降噪后的所述初始形狀根據(jù)關(guān)鍵點(diǎn)的關(guān)聯(lián)性劃分為多個(gè)組；

在每一迭代回歸預(yù)測(cè)階段，分別計(jì)算每一組的形狀增量；

將每一組的所述形狀增量進(jìn)行融合，得到當(dāng)前階段的最終形狀增量；

根據(jù)當(dāng)前階段的所述最終形狀增量，更新當(dāng)前階段的形狀并作為下一階段的起始形狀。

優(yōu)選的，所述計(jì)算每一組的形狀增量，具體包括：

通過(guò)下式計(jì)算每一組的形狀增量，