[發(fā)明專利]一種人臉定位方法、裝置、終端設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910037053.3
• 申請日: 2019-01-15
• 公開（公告）號: CN109871760B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計）人: 劉健;王順利
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/70
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

本發(fā)明提供了一種人臉定位方法、裝置、終端設(shè)備及存儲介質(zhì)。所述方法包括：獲取視頻流中第一幀圖像中的第一人臉框和多個第一人臉關(guān)鍵點；獲取各所述第一人臉關(guān)鍵點在所述第一幀圖像對應(yīng)的圖像坐標(biāo)系中的各第一坐標(biāo)；對各所述第一人臉關(guān)鍵點進(jìn)行跟蹤處理，得到跟蹤處理結(jié)果；依據(jù)所述跟蹤處理結(jié)果及各所述第一坐標(biāo)，確定第二幀圖像中的各所述第一人臉關(guān)鍵點對應(yīng)的各第二人臉關(guān)鍵點，及各所述第二人臉關(guān)鍵點對應(yīng)的第二坐標(biāo)；所述第一幀圖像為所述第二幀圖像的上一幀圖像；依據(jù)各所述第二坐標(biāo)，確定所述第二幀圖像中的與所述第一人臉框?qū)?yīng)的第二人臉框。本發(fā)明能夠減少人臉關(guān)鍵點定位所需的時間，可以滿足人臉定位實時處理的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，特別是涉及一種人臉定位方法、裝置、終端設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著直播和短視頻領(lǐng)域的飛速發(fā)展，在移動終端上出現(xiàn)了對人臉進(jìn)行美顏、瘦臉和虛擬穿戴等需求，上述技術(shù)的實現(xiàn)依賴于視頻流中的人臉關(guān)鍵點定位技術(shù)，主要分為兩個部分：獲取視頻流中的人臉區(qū)域和定位人臉的關(guān)鍵點。

現(xiàn)有技術(shù)方案中，通常是對上述兩部分分開進(jìn)行處理的，人臉區(qū)域的獲取是通過逐幀檢測或者對人臉區(qū)域進(jìn)行跟蹤，然后在人臉框中進(jìn)行關(guān)鍵點的定位。而人臉檢測算法大多是基于卷積神經(jīng)網(wǎng)絡(luò)，對視頻流中的每幀圖像均做人臉檢測和關(guān)鍵點定位過于耗時，無法滿足實時處理的需求。

發(fā)明內(nèi)容

本發(fā)明實施例所要解決的技術(shù)問題是提供一種人臉定位方法、裝置、終端設(shè)備及存儲介質(zhì)，以解決現(xiàn)有技術(shù)中進(jìn)行人臉檢測過于耗時，無法滿足實時處理需求的技術(shù)問題。

為了解決上述問題，本發(fā)明實施例提供了一種人臉定位方法，包括：獲取視頻流中第一幀圖像中的第一人臉框和多個第一人臉關(guān)鍵點；獲取各所述第一人臉關(guān)鍵點在所述第一幀圖像對應(yīng)的圖像坐標(biāo)系中的各第一坐標(biāo)；對各所述第一人臉關(guān)鍵點進(jìn)行跟蹤處理，得到跟蹤處理結(jié)果；依據(jù)所述跟蹤處理結(jié)果及各所述第一坐標(biāo)，確定第二幀圖像中的各所述第一人臉關(guān)鍵點對應(yīng)的各第二人臉關(guān)鍵點，及各所述第二人臉關(guān)鍵點對應(yīng)的第二坐標(biāo)；所述第一幀圖像為所述第二幀圖像的上一幀圖像；依據(jù)各所述第二坐標(biāo)，確定所述第二幀圖像中的與所述第一人臉框?qū)?yīng)的第二人臉框。

優(yōu)選地，所述依據(jù)所述跟蹤處理結(jié)果及各所述第一坐標(biāo)，確定第二幀圖像中的各所述第一人臉關(guān)鍵點對應(yīng)的各第二人臉關(guān)鍵點，及各所述第二人臉關(guān)鍵點對應(yīng)的第二坐標(biāo)，包括：在所述第二幀圖像渲染完成之后，依據(jù)所述跟蹤處理結(jié)果，獲取所述第二幀圖像中跟蹤得到的各所述第二人臉關(guān)鍵點；根據(jù)所述第一幀圖像和所述第二幀圖像，獲取光流值；其中，所述光流值用于指示各所述第一人臉關(guān)鍵點與對應(yīng)的各所述第二人臉關(guān)鍵點間的移動距離；依據(jù)所述光流值及各所述第一坐標(biāo)，確定各所述第二人臉關(guān)鍵點對應(yīng)的第二坐標(biāo)。

優(yōu)選地，在所述依據(jù)所述光流值及各所述第一坐標(biāo)，確定各所述第二人臉關(guān)鍵點對應(yīng)的第二坐標(biāo)之后，還包括：依據(jù)各所述移動距離，計算得到平均距離；計算各所述移動距離與所述平均距離之間的差值；從各所述第二人臉關(guān)鍵點中獲取所述差值小于差值中位數(shù)的一半的第二目標(biāo)人臉關(guān)鍵點；依據(jù)各所述第二目標(biāo)人臉關(guān)鍵點對應(yīng)的初始第二坐標(biāo)，對所有第二人臉關(guān)鍵點中除所述第二目標(biāo)人臉關(guān)鍵點之外的其它第二人臉關(guān)鍵點對應(yīng)的初始第二坐標(biāo)進(jìn)行校正；依據(jù)校正結(jié)果，確定各所述第二人臉關(guān)鍵點對應(yīng)的第二坐標(biāo)。

優(yōu)選地，在所述獲取視頻流中第一幀圖像中的第一人臉框和多個第一人臉關(guān)鍵點之后，還包括：對所述第一人臉框進(jìn)行跟蹤處理，得到所述第二幀圖像中與所述第一人臉框?qū)?yīng)的第二跟蹤人臉框；在所述依據(jù)各所述第二坐標(biāo)，確定所述第二幀圖像中的與所述第一人臉框?qū)?yīng)的第二人臉框之后，還包括：依據(jù)各所述第二坐標(biāo)，判斷各所述第二人臉關(guān)鍵點是否符合第一預(yù)設(shè)條件；在各所述第二人臉關(guān)鍵點不符合第一預(yù)設(shè)條件的情況下，獲取所述第一人臉框的中心點和所述第二跟蹤人臉框的中心點間的間隔距離；依據(jù)所述間隔距離、所述第一人臉框的長度和所述第一人臉框的寬度，判斷所述第二跟蹤人臉框是否符合第二預(yù)設(shè)條件；在所述第二跟蹤人臉框符合所述第二預(yù)設(shè)條件的情況下，依據(jù)所述第二跟蹤人臉框，通過預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型，確定所述第二跟蹤人臉框中的各第一預(yù)測人臉關(guān)鍵點。