[發明專利]視頻合成方法、裝置、電子設備及存儲介質

有效

• 申請號: 202210353924.4
• 申請日: 2022-04-06
• 公開（公告）號: CN114429611B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 李志航
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/16;G06T3/40;G06T9/00
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 盧曉霞

1.一種視頻合成方法，其特征在于，包括：

獲取表情類別標簽和人臉圖像；

對所述人臉圖像進行編碼處理，得到所述人臉圖像對應的特征隱碼信息；所述特征隱碼信息用于表征所述人臉圖像的臉部特征；

將所述表情類別標簽和所述特征隱碼信息輸入訓練完成的預測模型，得到預測隱碼序列；所述預測隱碼序列中包括多個表情隱碼信息，且各個表情隱碼信息均基于前一個表情隱碼信息預測得到，所述表情隱碼信息用于表征所述人臉圖像中的人臉作出所述表情類別標簽所對應表情的臉部特征；

對各所述表情隱碼信息進行解碼處理，得到各所述表情隱碼信息對應的表情圖像；

基于各所述表情圖像，得到表情視頻；所述表情視頻為所述人臉圖像中的人臉作出所述表情類別標簽所對應表情的合成視頻。

2.根據權利要求1所述的方法，其特征在于，所述將所述表情類別標簽和所述特征隱碼信息輸入訓練完成的預測模型，得到預測隱碼序列，包括：

通過所述訓練完成的預測模型，對所述表情類別標簽和所述特征隱碼信息進行預測，得到對應的表情隱碼信息，作為當前表情隱碼信息；

通過所述訓練完成的預測模型，對所述表情類別標簽和所述當前表情隱碼信息進行預測，得到新的表情隱碼信息；

將所述當前表情隱碼信息更新為所述新的表情隱碼信息，并跳轉至對所述表情類別標簽和所述當前表情隱碼信息進行預測，得到新的表情隱碼信息的步驟，直到預測得到的表情隱碼信息達到預設個數，基于所述特征隱碼信息和預測得到的各個表情隱碼信息，得到所述預測隱碼序列。

3.根據權利要求2所述的方法，其特征在于，所述基于各所述表情圖像，得到表情視頻，包括：

獲取各所述表情圖像所對應的表情隱碼信息的預測順序；所述預測順序表示各所述表情隱碼信息被預測出的順序；

按照所述預測順序，將各所述表情圖像進行組合，得到所述表情視頻。

4.根據權利要求1所述的方法，其特征在于，所述預測模型通過下述方式訓練得到：

獲取樣本視頻對應的樣本幀圖像集合；所述樣本幀圖像集合中的每個樣本幀圖像攜帶有相同的樣本表情類別標簽；

通過待訓練的預測模型，對所述每個樣本幀圖像的表情隱碼信息和所述樣本表情類別標簽進行預測，得到所述每個樣本幀圖像的下一個樣本幀圖像的預測表情隱碼信息；

基于所述下一個樣本幀圖像的預測表情隱碼信息和所述下一個樣本幀圖像的實際表情隱碼信息之間的損失值，對所述待訓練的預測模型進行訓練，得到所述訓練完成的預測模型。

5.根據權利要求4所述的方法，其特征在于，所述對所述每個樣本幀圖像的表情隱碼信息和所述樣本表情類別標簽進行處理，得到所述每個樣本幀圖像的下一個樣本幀圖像的預測表情隱碼信息，包括：

對所述樣本表情類別標簽進行編碼處理，得到編碼后的樣本表情類別標簽；

分別將所述每個樣本幀圖像的表情隱碼信息和所述編碼后的樣本表情類別標簽進行拼接，得到所述每個樣本幀圖像的拼接信息；

通過所述待訓練的預測模型，對所述每個樣本幀圖像的拼接信息進行處理，得到所述每個樣本幀圖像的下一個樣本幀圖像的預測表情隱碼信息。

6.根據權利要求4所述的方法，其特征在于，所述獲取樣本視頻對應的樣本幀圖像集合，包括：

對所述樣本視頻進行視頻幀提取處理，得到多個樣本幀圖像；

根據各所述樣本幀圖像在所述樣本視頻中的播放時間戳順序，將各所述樣本幀圖像組合成所述樣本視頻對應的樣本幀圖像集合。

7.根據權利要求1所述的方法，其特征在于，在將所述表情類別標簽和所述特征隱碼信息輸入訓練完成的預測模型，得到預測隱碼序列之前，還包括：

對所述表情類別標簽進行編碼處理，得到編碼后的表情類別標簽；

所述將所述表情類別標簽和所述特征隱碼信息輸入訓練完成的預測模型，得到預測隱碼序列，包括：

將所述編碼后的表情類別標簽和所述特征隱碼信息輸入所述訓練完成的預測模型，得到所述預測隱碼序列。