[發明專利]一種表情遷移并動畫化的方法及系統

有效

• 申請號: 202010433641.1
• 申請日: 2020-05-21
• 公開（公告）號: CN111598977B
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京中科深智科技有限公司
• 主分類號: G06T13/00
• 分類號: G06T13/00;G06T3/00;G06T5/00;G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種表情遷移并動畫化的方法，其特征在于，包括：

給定一源圖像和—驅動視頻；

通過—預先訓練的表情遷移并動畫化模型預測所述源圖像中的第一人臉關鍵點；

通過所述表情遷移并動畫化模型預測所述驅動視頻中的第二人臉關鍵點，并預測得到關聯各所述第二人臉關鍵點的人臉運動姿態；

根據所述第二人臉關鍵點和所述第一人臉關鍵點的映射關系，將關聯所述第二人臉關鍵點的所述人臉運動姿態遷移到具有映射關系的所述第一人臉關鍵點上，以實現靜態的所述源圖像上的物體跟隨所述驅動視頻中的人臉運動姿態作同步運動；

預測關聯各所述第二人臉關鍵點的所述人臉運動姿態的方法為：

對所述驅動視頻中的驅動圖像上相鄰的所述第二人臉關鍵點進行局部仿射變換，以模擬出所述驅動圖像上的人臉運動姿態；

按時間軸提取模擬出的所述人臉運動姿態對應的人臉運動姿態特征，得到關聯所述第二人臉關鍵點的多張人臉運動姿態特征圖；

將關聯同一個所述第二人臉關鍵點的各所述人臉運動姿態特征圖按時間軸進行視頻合成，得到關聯所述第二人臉關鍵點的所述人臉運動姿態。

2.如權利要求1所述的方法，其特征在于，將所述人臉運動姿態從所述驅動視頻上遷移到所述源圖像上的方法為：

步驟A1，判斷所述第一人臉關鍵點和所述第二人臉關鍵點之間是否存在映射關系，

若是，則進入步驟A2；

若否，則不執行人臉運動姿態遷移；

步驟A2，將關聯所述第二人臉關鍵點的所述人臉運動姿態遷移到與所述第二人臉關鍵點具有映射關系的所述第一人臉關鍵點上；

步驟A3，按照時間幀順序將遷移的所述人臉運動姿態合成為人臉運動視頻，以實現靜態的所述源圖像跟隨所述驅動視頻中的所述人臉運動姿態同步運動的動畫化。

3.如權利要求1所述的方法，其特征在于，所述表情遷移并動畫化模型預測所述驅動視頻中的所述第二人臉關鍵點的同時還對所述驅動視頻中的驅動圖像上是否存在人臉遮擋區域進行檢測，當檢測到所述驅動圖像上存在遮擋人臉的區域時，所述表情遷移并動畫化模型將對遮擋人臉的區域進行圖像修復，修復人臉遮擋區域的具體方法包括如下步驟：

步驟B1，在檢測到當前幀圖像存在遮擋人臉的區域時截取當前幀圖像并存儲；

步驟B2，提取所述當前幀圖像上遮擋住人臉的區域圖像，并對所述區域圖像在所述當前幀圖像上的所處位置進行標注；

步驟B3，截取所述當前幀圖像的前后幀圖像并存儲；

步驟B4，將所述當前幀圖像與當前幀的前一幀圖像或后一幀圖像進行圖像比對，以判斷所述前一幀圖像或所述后一幀圖像上是否存在人臉遮擋區域，

若是，則以所述前一幀圖像或所述后一幀圖像為當前幀圖像并返回所述步驟B1；

若否，則進入步驟B5；

步驟B5，在所述前一幀圖像或所述后一幀圖像上匹配出與所述當前幀圖像中遮擋住人臉的所述區域圖像相同位置處的匹配圖像；

步驟B6，從所述前一幀圖像或所述后一幀圖像上提取出所述匹配圖像并存儲；

步驟B7，將所述匹配圖像填充到所述步驟B2中標注的所述當前幀圖像遮擋住人臉的所述區域圖像的位置處，以實現對所述當前幀圖像的修復。