[發(fā)明專利]人臉圖像融合方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811043607.2
• 申請(qǐng)日: 2018-09-07
• 公開（公告）號(hào): CN109345470B
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計(jì)）人: 梁凌宇
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/50;G06T7/33
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 陳宏升

本發(fā)明公開了人臉圖像融合方法，包括：分別提取目標(biāo)人臉I(yè)的特征點(diǎn)和參考人臉R的特征點(diǎn)；根據(jù)所述目標(biāo)人臉I(yè)的特征點(diǎn)和參考人臉R的特征點(diǎn)，將參考人臉R的表觀形狀與目標(biāo)人臉I(yè)相匹配；根據(jù)相匹配后的目標(biāo)人臉I(yè)’和參考人臉R’生成光照模板M_L；根據(jù)目標(biāo)人臉I(yè)的特征點(diǎn)生成區(qū)域模板M_Q；把所述光照模板M_L、區(qū)域模板M_Q和目標(biāo)人臉I(yè)、相匹配后的參考人臉R’進(jìn)行加權(quán)求和，目標(biāo)人臉I(yè)和參考人臉R實(shí)現(xiàn)人臉融合。本發(fā)明能在目標(biāo)人臉與參考人臉具有較大光照差異時(shí)，解決目標(biāo)人臉與參考人臉具有較大光照差異下人臉融合出現(xiàn)的視覺不一致問題，生成自然的人臉融合效果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理與渲染技術(shù)領(lǐng)域，具體涉及人臉圖像融合方法和系統(tǒng)。

背景技術(shù)

人臉圖像融合技術(shù)是把參考人臉R的表觀特征融合到目標(biāo)人臉I(yè)中，從而在圖像或者視頻中生成新內(nèi)容與風(fēng)格。這項(xiàng)技術(shù)在文化創(chuàng)意產(chǎn)業(yè)中有廣泛應(yīng)用，如影視制作、數(shù)字娛樂、社交媒體、增強(qiáng)現(xiàn)實(shí)與個(gè)人圖像編輯。而要實(shí)現(xiàn)參考人臉R與目標(biāo)人臉I(yè)的無(wú)縫銜接，兩者的融合區(qū)域需要具備良好的視覺一致性。傳統(tǒng)的方法主要采用蒙板與邊界羽化的技術(shù)來(lái)實(shí)現(xiàn)，但該方法只有在目標(biāo)人臉I(yè)與參考人臉R的表觀差別不大的情況下才能達(dá)到較好的效果。另一種方法主要利用目標(biāo)人臉I(yè)的表觀特性來(lái)估計(jì)融合區(qū)域中參考人臉R的像素值，典型代表是泊松圖像編輯方法。該方法能根據(jù)目標(biāo)人臉I(yè)在融合區(qū)域中的邊界值來(lái)重新調(diào)節(jié)參考人臉R的表觀，所以能在融合邊界上獲得平滑的過渡，達(dá)到較好的融合效果。不過，當(dāng)目標(biāo)人臉I(yè)與參考人臉R具有較大的光照差異時(shí)，該方法會(huì)在融合區(qū)域內(nèi)引入視覺瑕疵。因此，行業(yè)內(nèi)一直在尋找解決目標(biāo)人臉I(yè)與參考人臉R具有較大光照差異下人臉融合出現(xiàn)的視覺不一致問題的方法。

發(fā)明內(nèi)容

本發(fā)明的目的是為了克服以上現(xiàn)有技術(shù)存在的不足，提供了人臉圖像融合方法。

本發(fā)明的另一目的是為了克服以上現(xiàn)有技術(shù)存在的不足，提供了人臉圖像融合系統(tǒng)。

本發(fā)明的目的通過以下的技術(shù)方案實(shí)現(xiàn)：

人臉圖像融合方法，包括：

步驟一，分別提取目標(biāo)人臉I(yè)的特征點(diǎn)和參考人臉R的特征點(diǎn)；

步驟二，根據(jù)所述目標(biāo)人臉I(yè)的特征點(diǎn)和參考人臉R的特征點(diǎn)，將參考人臉R的表觀形狀與目標(biāo)人臉I(yè)相匹配；

步驟三，根據(jù)相匹配后的目標(biāo)人臉I(yè)’和參考人臉R’生成光照模板M_L；

步驟四，根據(jù)目標(biāo)人臉I(yè)的特征點(diǎn)生成區(qū)域模板M_Q；

步驟五，把所述光照模板M_L、區(qū)域模板M_Q和目標(biāo)人臉I(yè)、相匹配后的參考人臉R’進(jìn)行加權(quán)求和，目標(biāo)人臉I(yè)和參考人臉R實(shí)現(xiàn)人臉融合。

優(yōu)選地，所述根據(jù)相匹配后的目標(biāo)人臉I(yè)’和參考人臉R’生成光照模板M_L包括：提取相匹配后的目標(biāo)人臉I(yè)’和參考人臉R’的初始光照特征T_L；對(duì)所述初始光照特征T_L進(jìn)行擴(kuò)散，生成光照模板M_L。

優(yōu)選地，所述根據(jù)相匹配后的目標(biāo)人臉I(yè)’和參考人臉R’生成光照模板M_L還包括：將目標(biāo)人臉I(yè)和參考人臉R均從RGB顏色空間轉(zhuǎn)換到CIE_LAB顏色空間；使用邊緣保持平滑濾波器分別對(duì)目標(biāo)人臉I(yè)與相匹配后的參考人臉R’的亮度通道進(jìn)行平滑處理，得到目標(biāo)人臉的光照特征I_L與相匹配后的參考人臉的光照特征R_L；將目標(biāo)人臉的光照特征I_L除以相匹配后的參考人臉的光照特征R_L得到初始光照特征T_L；通過第一迭代方程對(duì)初始光照特征T_L進(jìn)行擴(kuò)散，生成光照模板M_L；

第一迭代方程為：