[發(fā)明專(zhuān)利]一種表情遷移并動(dòng)畫(huà)化的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010433641.1
• 申請(qǐng)日: 2020-05-21
• 公開(kāi)（公告）號(hào): CN111598977B
• 公開(kāi)（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京中科深智科技有限公司
• 主分類(lèi)號(hào): G06T13/00
• 分類(lèi)號(hào): G06T13/00;G06T3/00;G06T5/00;G06K9/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種表情遷移并動(dòng)畫(huà)化的方法及系統(tǒng)，其中方法包括：給定一源圖像和一驅(qū)動(dòng)視頻；通過(guò)—預(yù)先訓(xùn)練的表情遷移并動(dòng)畫(huà)化模型預(yù)測(cè)所述源圖像中的第一人臉關(guān)鍵點(diǎn)；通過(guò)所述表情遷移并動(dòng)畫(huà)化模型預(yù)測(cè)所述驅(qū)動(dòng)視頻中的第二人臉關(guān)鍵點(diǎn)，并預(yù)測(cè)得到各所述第二人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的人臉運(yùn)動(dòng)姿態(tài)；所述表情遷移并動(dòng)畫(huà)化模型根據(jù)所述第二人臉關(guān)鍵點(diǎn)和所述第一人臉關(guān)鍵點(diǎn)的映射關(guān)系，將關(guān)聯(lián)所述第二人臉關(guān)鍵的所述人臉運(yùn)動(dòng)姿態(tài)遷移到具有映射關(guān)系的所述第一人臉關(guān)鍵點(diǎn)上，以實(shí)現(xiàn)靜態(tài)的所述源圖像跟隨所述驅(qū)動(dòng)視頻中的人臉運(yùn)動(dòng)姿態(tài)作同步運(yùn)動(dòng)的動(dòng)畫(huà)化。本發(fā)明實(shí)現(xiàn)了對(duì)表情的實(shí)時(shí)遷移，滿(mǎn)足了人們對(duì)于表情“真人化”實(shí)時(shí)遷移的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及表情遷移和表情捕捉技術(shù)領(lǐng)域，具體涉及一種表情遷移并動(dòng)畫(huà)化的方法及系統(tǒng)。

背景技術(shù)

早期的換臉軟件通過(guò)即時(shí)抓取攝像頭視頻中的人臉關(guān)鍵點(diǎn)，將表情、頭部姿態(tài)等信息轉(zhuǎn)化到三維虛擬化角色身上，比如一只貓、一個(gè)虛擬卡通人物上，然后在使用即時(shí)視頻通訊軟件時(shí)，其他人看到的就是擁有使用者當(dāng)前表情的虛擬形象了。

隨著換臉、表情遷移的科技浪潮洶涌而至，人們不再滿(mǎn)足于使用卡通形象、動(dòng)漫人物來(lái)充當(dāng)自己的化身，而是希望使用真人的形象。但是將源臉替換到目標(biāo)臉上，需要使用大量的雙方人臉圖像的數(shù)據(jù)進(jìn)行事先的表情遷移訓(xùn)練，但是在即時(shí)的視頻通訊應(yīng)用場(chǎng)景中，根本無(wú)法獲取雙方大量的人臉圖像數(shù)據(jù)集，也就無(wú)法對(duì)表情的真人遷移進(jìn)行事先的模型訓(xùn)練。而且模型訓(xùn)練需要足夠的訓(xùn)練時(shí)間，在即時(shí)的視頻通訊應(yīng)用場(chǎng)景中，也不具備模型訓(xùn)練該有的時(shí)間條件，所以現(xiàn)有技術(shù)中的表情遷移方法無(wú)法實(shí)現(xiàn)實(shí)時(shí)的表情遷移，無(wú)法滿(mǎn)足人們希望以“真人”作為替身進(jìn)行即時(shí)的角色變換的需求。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種表情遷移并動(dòng)畫(huà)化的方法及系統(tǒng)，以解決上述技術(shù)問(wèn)題。

為達(dá)此目的，本發(fā)明采用以下技術(shù)方案：

提供一種表情遷移并動(dòng)畫(huà)化的方法，包括：

給定一源圖像和—驅(qū)動(dòng)視頻；

通過(guò)—預(yù)先訓(xùn)練的表情遷移并動(dòng)畫(huà)化模型預(yù)測(cè)所述源圖像中的第一人臉關(guān)鍵點(diǎn)；

通過(guò)所述表情遷移并動(dòng)畫(huà)化模型預(yù)測(cè)所述驅(qū)動(dòng)視頻中的第二人臉關(guān)鍵點(diǎn)，并預(yù)測(cè)得到關(guān)聯(lián)各所述第二人臉關(guān)鍵點(diǎn)的人臉運(yùn)動(dòng)姿態(tài)；

根據(jù)所述第二人臉關(guān)鍵點(diǎn)和所述第一人臉關(guān)鍵點(diǎn)的映射關(guān)系，將關(guān)聯(lián)所述第二人臉關(guān)鍵點(diǎn)的所述人臉運(yùn)動(dòng)姿態(tài)遷移到具有映射關(guān)系的所述第一人臉關(guān)鍵點(diǎn)上，以實(shí)現(xiàn)靜態(tài)的所述源圖像上的物體跟隨所述驅(qū)動(dòng)視頻中的人臉運(yùn)動(dòng)姿態(tài)作同步運(yùn)動(dòng)。

作為本發(fā)明的一種優(yōu)選方案，預(yù)測(cè)關(guān)聯(lián)各所述第二人臉關(guān)鍵點(diǎn)的所述人臉運(yùn)動(dòng)姿態(tài)的方法為：

對(duì)所述驅(qū)動(dòng)視頻中的驅(qū)動(dòng)圖像上相鄰的所述第二人臉關(guān)鍵點(diǎn)進(jìn)行局部仿射變換，以模擬出所述驅(qū)動(dòng)圖像上的人臉運(yùn)動(dòng)姿態(tài)；

按時(shí)間軸提取模擬出的所述人臉運(yùn)動(dòng)姿態(tài)對(duì)應(yīng)的人臉運(yùn)動(dòng)姿態(tài)特征，得到關(guān)聯(lián)所述第二人臉關(guān)鍵點(diǎn)的多張人臉運(yùn)動(dòng)姿態(tài)特征圖；

將關(guān)聯(lián)同一個(gè)所述第二人臉關(guān)鍵點(diǎn)的各所述人臉運(yùn)動(dòng)姿態(tài)特征圖按時(shí)間軸進(jìn)行視頻合成，得到關(guān)聯(lián)所述第二人臉關(guān)鍵點(diǎn)的所述人臉運(yùn)動(dòng)姿態(tài)。

作為本發(fā)明的一種優(yōu)選方案，將所述人臉運(yùn)動(dòng)姿態(tài)從所述驅(qū)動(dòng)視頻上遷移到所述源圖像上的方法為：

步驟A1，判斷所述第一人臉關(guān)鍵點(diǎn)和所述第二人臉關(guān)鍵點(diǎn)之間是否存在映射關(guān)系，

若是，則進(jìn)入步驟A2；

若否，則不執(zhí)行人臉運(yùn)動(dòng)姿態(tài)遷移；

步驟A2，將關(guān)聯(lián)所述第二人臉關(guān)鍵點(diǎn)的所述人臉運(yùn)動(dòng)姿態(tài)遷移到與所述第二人臉關(guān)鍵點(diǎn)具有映射關(guān)系的所述第一人臉關(guān)鍵點(diǎn)上；