[發(fā)明專利]一種基于人臉追蹤的實時人臉融合方法

有效

• 申請?zhí)枺?/td>: 201711462802.4
• 申請日: 2017-12-28
• 公開（公告）號: CN108197555B
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 秦昊;盧奕渲;李冬平
• 申請（專利權(quán)）人: 杭州相芯科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

本發(fā)明公開了一種基于人臉追蹤的實時人臉融合方法，包括以下步驟：預(yù)處理階段：生成基準(zhǔn)正臉圖像的人臉貼圖，擬合所述人臉貼圖的三角網(wǎng)格后，確定所述三角網(wǎng)格上頂點與密集輪廓點之間的關(guān)系，并基于所述密集輪廓點生成蒙版圖和透明通道圖；人臉融合階段：生成待融合正臉圖像的人臉貼圖，利用所述蒙版圖和透明通道圖對所述人臉貼圖處理后，根據(jù)所述頂點與密集輪廓點之間的關(guān)系，實時計算視頻幀中人臉的融合人臉貼圖，再根據(jù)所述融合人臉貼圖與融合人臉網(wǎng)格模型，實時繪制人臉。該方法可以實時地生成能與視頻幀中的人臉相融合的融合人臉貼圖，并實時地將人臉貼圖繪制到視頻幀中，達(dá)到人臉融合效果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理及圖形繪制技術(shù)領(lǐng)域，尤其涉及一種基于人臉追蹤的實時人臉融合方法。

背景技術(shù)

圖像融合是一項重要且有用的圖像編輯操作。直接將圖像塊復(fù)制到另一幅圖像上而不經(jīng)過任何處理得到的結(jié)果并不能產(chǎn)生真實感。通常，將圖像塊復(fù)制到另一幅圖像上，需要對圖像塊的邊緣進(jìn)行處理，使邊緣在另一幅圖像上能夠融合在一起。圖像融合有兩種主要的方法：基于梯度域的方法和基于坐標(biāo)的方法。

基于梯度域的方法，主要是通過求解一個大的稀疏的線性系統(tǒng)——泊松方程。此類方法通常是保證融合的圖像上圖像塊的區(qū)域的梯度來自圖像塊，同時融合的邊緣滿足某些條件，以此構(gòu)造泊松方程。盡管有許多研究者對求解方法作出了改進(jìn)，但求解泊松方程仍是比較耗時且耗空間的。基于梯度域的方法，可以參考以下論文：Pérez P,Gangnet M,Blake A.Poisson image editing[C]//ACM Transactions on graphics(TOG).ACM,2003,22(3):313-318.；Agarwala A.Efficient gradient-domain compositing usingquadtrees[C]//ACM Transactions on Graphics(TOG).ACM,2007,26(3):94.。

基于坐標(biāo)的方法與基于梯度的方法不同的是：基于坐標(biāo)的方法無需求解泊松方程，而是通過尋找圖像塊內(nèi)部像素與輪廓點之間的某種線性關(guān)系，從而實現(xiàn)快速求解。并且由于此類方法的高度并行化，使其很容易在GPU上實現(xiàn)。基于坐標(biāo)的方法，可以參考以下論文：Farbman Z,Hoffer G,Lipman Y,et al.Coordinates for instant image cloning[C]//ACM Transactions on Graphics(TOG).ACM,2009,28(3):67.。

人臉追蹤與識別是指識別視頻中人臉的位置、表情等信息，重建人臉網(wǎng)格模型的過程。根據(jù)視頻的不同，主要有基于RGB-D攝像頭的方法和基于RGB攝像頭的方法，可以參考以下論文：Weise T,Bouaziz S,Li H,et al.Realtime performance-based facialanimation[C]//ACM transactions on graphics(TOG).ACM,2011,30(4):77.；Cao C,HouQ,Zhou K.Displaced dynamic expression regression for real-time facialtracking and animation[J].ACM Transactions on graphics(TOG),2014,33(4):43.。