[發明專利]用于生成視頻的方法和裝置

有效

• 申請號: 202010256117.1
• 申請日: 2020-04-02
• 公開（公告）號: CN111476871B
• 公開（公告）日: 2023-10-03
• 發明（設計）人: 劉云峰;王超;李遠杭;贠挺;陳國慶
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06T13/80
• 分類號: G06T13/80;G06V40/16
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開實施例公開了用于生成視頻的方法和裝置。該方法的一具體實施方式包括：從所接收的動漫風格視頻中獲取目標動漫人物的動漫人臉圖像序列，以及基于動漫人臉圖像序列生成動漫人臉輪廓圖序列；基于動漫人臉輪廓圖序列和所接收的真實人臉的初始人臉圖像，生成針對真實人臉的人臉圖像序列；根據人臉圖像序列，生成針對真實人臉的動漫風格圖像序列；使用動漫風格人臉圖像序列中的動漫風格人臉圖像，替換動漫風格視頻中目標動漫人物的人臉圖像，生成真實人臉對應的動漫風格的視頻。該實施方式實現了基于動漫風格視頻和單張真實人臉的初始人臉圖像自動生成真實人臉對應的動漫風格的視頻。

技術領域

本公開實施例涉及計算機技術領域，具體涉及用于生成視頻的方法和裝置。

背景技術

隨著計算機圖像處理技術的進步，對圖片和視頻中人臉進行交換的技術發展的越來越迅速。動漫作為一種藝術形式，是運用簡單而夸張的手法來描述生活或時事的圖畫。動漫深受廣大群眾，尤其是青少年的喜愛。而個性化動漫視頻生成是指，基于用戶的真實人臉特征，轉換原始動漫視頻人臉，生成具備用戶人臉特征的個性化動漫視頻。然而，由于動漫人物的圖像、視頻制作不僅耗時，而且還需要較高的專業技能，這造成普通用戶制作個人定制版動漫視頻的成本過高。

發明內容

本公開實施例提出了用于生成視頻的方法和裝置。

第一方面，本公開實施例提供了一種用于生成視頻的方法，該方法包括：從所接收的動漫風格視頻中獲取目標動漫人物的動漫人臉圖像序列，以及基于上述動漫人臉圖像序列生成動漫人臉輪廓圖序列；基于上述動漫人臉輪廓圖序列和所接收的真實人臉的初始人臉圖像，生成針對上述真實人臉的人臉圖像序列，其中，上述人臉圖像序列中的人臉表情與上述動漫人臉圖像序列中的人臉表情相匹配；根據上述人臉圖像序列，生成針對上述真實人臉的動漫風格圖像序列；使用上述動漫風格人臉圖像序列中的動漫風格人臉圖像，替換上述動漫風格視頻中上述目標動漫人物的人臉圖像，生成上述真實人臉對應的動漫風格的視頻。

在一些實施例中，上述基于上述動漫人臉輪廓圖序列和所接收的真實人臉的初始人臉圖像，生成針對上述真實人臉的人臉圖像序列，包括：對于上述動漫人臉輪廓圖序列中的動漫人臉輪廓圖依次執行以下人臉圖像生成步驟：基于當前動漫人臉輪廓圖和上述初始人臉圖像的人臉特征信息，生成第一人臉圖像；基于上述第一人臉圖像，確定針對上述真實人臉的人臉圖像；使用所確定的人臉圖像，生成針對上述真實人臉的人臉圖像序列。

在一些實施例中，上述基于上述第一人臉圖像，確定針對上述真實人臉的人臉圖像，包括：基于當前最后確定的至少兩張人臉圖像，生成光流圖；基于當前最后確定的人臉圖像和上述光流圖，生成第二人臉圖像；基于上述第一人臉圖像和上述第二人臉圖像，生成針對上述真實人臉的人臉圖像。

在一些實施例中，上述基于上述動漫人臉圖像序列生成動漫人臉輪廓圖序列，包括：對于上述動漫人臉圖像序列中的動漫人臉圖像，對該動漫人臉圖像進行人臉關鍵點檢測，以及基于檢測到的人臉關鍵點生成動漫人臉輪廓圖。

在一些實施例中，上述根據上述人臉圖像序列，生成針對上述真實人臉的動漫風格圖像序列，包括：將上述人臉圖像序列中的人臉圖像輸入預先建立的動漫風格圖像生成模型，生成針對上述真實人臉的動漫風格人臉圖像序列，其中，上述動漫風格圖像生成模型用于根據真實人臉的人臉圖像生成動漫風格的人臉圖像。