[發明專利]視頻合成方法、裝置、電子設備及存儲介質

有效

• 申請號: 202210353924.4
• 申請日: 2022-04-06
• 公開（公告）號: CN114429611B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 李志航
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/16;G06T3/40;G06T9/00
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 盧曉霞

本公開關于一種視頻合成方法、裝置、電子設備及存儲介質，所述方法包括：獲取表情類別標簽和人臉圖像；對所述人臉圖像進行編碼處理，得到所述人臉圖像對應的特征隱碼信息；所述特征隱碼信息用于表征所述人臉圖像的臉部特征；將所述表情類別標簽和所述特征隱碼信息輸入訓練完成的預測模型，得到預測隱碼序列；所述預測隱碼序列中包括多個表情隱碼信息；對各所述表情隱碼信息進行解碼處理，得到各所述表情隱碼信息對應的表情圖像；基于各所述表情圖像，得到表情視頻；所述表情視頻為所述人臉圖像中的人臉作出所述表情類別標簽所對應表情的合成視頻。該方法可以基于人臉圖像和表情類別標簽合成自然且連續的表情視頻。

技術領域

本公開涉及人工智能技術領域，尤其涉及一種視頻合成方法、裝置、電子設備、存儲介質及程序產品。

背景技術

人臉表情合成是指在保留人臉身份信息的前提下，對人臉表情進行重建，合成新的表情，該技術在人臉識別、影視動畫、人機交互等方面具有廣泛的應用。目前提出的一些研究工作已經能夠生成高質量的表情圖像。

然而，目前大部分的研究主要關注于單張圖像的合成，而人臉表情是個動態的過程，如何合成一段連續自然的人臉表情視頻仍然是一個挑戰性問題。

發明內容

本公開提供一種視頻合成方法、裝置、電子設備、存儲介質及程序產品，以至少解決相關技術中難以合成連續自然的人臉表情視頻的問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種視頻合成方法，包括：

獲取表情類別標簽和人臉圖像；

對所述人臉圖像進行編碼處理，得到所述人臉圖像對應的特征隱碼信息；所述特征隱碼信息用于表征所述人臉圖像的臉部特征；

將所述表情類別標簽和所述特征隱碼信息輸入訓練完成的預測模型，得到預測隱碼序列；所述預測隱碼序列中包括多個表情隱碼信息，所述表情隱碼信息用于表征所述人臉圖像中的人臉作出所述表情類別標簽所對應表情的臉部特征；

對各所述表情隱碼信息進行解碼處理，得到各所述表情隱碼信息對應的表情圖像；

基于各所述表情圖像，得到表情視頻；所述表情視頻為所述人臉圖像中的人臉作出所述表情類別標簽所對應表情的合成視頻。

在一示例性實施例中，所述將所述表情類別標簽和所述特征隱碼信息輸入訓練完成的預測模型，得到預測隱碼序列，包括：

通過所述訓練完成的預測模型，對所述表情類別標簽和所述特征隱碼信息進行預測，得到對應的表情隱碼信息，作為當前表情隱碼信息；

通過所述訓練完成的預測模型，對所述表情類別標簽和所述當前表情隱碼信息進行預測，得到新的表情隱碼信息；

將所述當前表情隱碼信息更新為所述新的表情隱碼信息，并跳轉至對所述表情類別標簽和所述當前表情隱碼信息進行預測，得到新的表情隱碼信息的步驟，直到預測得到的表情隱碼信息達到預設個數，基于所述特征隱碼信息和預測得到的各個表情隱碼信息，得到所述預測隱碼序列。

在一示例性實施例中，所述基于各所述表情圖像，得到表情視頻，包括：

獲取各所述表情圖像所對應的表情隱碼信息的預測順序；所述預測順序表示各所述表情隱碼信息被預測出的順序；

按照所述預測順序，將各所述表情圖像進行組合，得到所述表情視頻。

在一示例性實施例中，所述預測模型通過下述方式訓練得到：

獲取樣本視頻對應的樣本幀圖像集合；所述樣本幀圖像集合中的每個樣本幀圖像攜帶有相同的樣本表情類別標簽；

通過待訓練的預測模型，對所述每個樣本幀圖像的表情隱碼信息和所述樣本表情類別標簽進行處理，得到所述每個樣本幀圖像的下一個樣本幀圖像的預測表情隱碼信息；