[發明專利]一種面部視頻編碼方法、解碼方法及裝置

在審

• 申請號: 202210085777.7
• 申請日: 2022-01-25
• 公開（公告）號: CN114401406A
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 王釗;陳柏林;葉琰;王詩淇
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: H04N19/184
• 分類號: H04N19/184;H04N19/42;H04N19/61;G06V20/40
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

1.一種面部視頻編碼方法，包括：

獲取待編碼的目標面部視頻幀和參考幀列表中的多個初始參考面部視頻幀；

分別對所述多個初始參考面部視頻幀和所述目標面部視頻幀進行編碼，得到面部視頻比特流。

2.根據權利要求1所述的方法，其中，在所述得到面部視頻比特流之后，所述方法還包括：

分別計算所述目標面部視頻幀與各初始參考面部視頻幀間的信息差異值；所述信息差異值表征所述目標面部視頻幀中包含的信息與所述初始參考面部視頻幀中包含的信息之間的差異程度；

若存在大于預設閾值的信息差異值，則將所述目標面部視頻幀作為新增參考面部視頻幀添加至所述參考幀列表，以更新所述參考幀列表。

3.根據權利要求1所述的方法，其中，所述分別對所述多個初始參考面部視頻幀和所述目標面部視頻幀進行編碼，得到面部視頻比特流，包括：

對所述目標面部視頻幀進行特征提取，得到所述目標面部視頻幀的目標緊湊特征；

分別對所述目標緊湊特征以及各初始參考面部視頻幀進行編碼，得到面部視頻比特流。

4.一種面部視頻解碼方法，包括：

獲取面部視頻比特流，所述面部視頻比特流包括：多個編碼后參考面部視頻幀和編碼后緊湊特征信息；所述編碼后緊湊特征信息表征待重建的目標面部視頻幀的關鍵特征信息；

分別解碼所述多個編碼后參考面部視頻幀，得到多個參考面部視頻幀；

解碼所述編碼后緊湊特征信息，得到所述目標面部視頻幀的目標緊湊特征；

基于所述多個參考面部視頻幀和所述目標緊湊特征，進行面部視頻幀重建，得到與所述目標面部視頻幀對應的融合面部視頻幀。

5.根據權利要求4所述的方法，其中，所述基于所述多個參考面部視頻幀和所述目標緊湊特征，進行面部視頻幀重建，得到與所述目標面部視頻幀對應的融合面部視頻幀，包括：

分別基于每個參考面部視頻幀和所述目標緊湊特征，進行面部視頻幀重建，得到與每個參考面部視頻幀對應的初始重建面部視頻幀；

對各初始重建面部視頻幀進行融合處理，得到與所述目標面部視頻幀對應的融合面部視頻幀。

6.根據權利要求5所述的方法，其中，所述對各初始重建面部視頻幀進行融合處理，得到與所述目標面部視頻幀對應的融合面部視頻幀，包括：

獲取各初始重建面部視頻幀對應的權重值；

基于各權重值，對各初始重建面部視頻幀進行線性加權處理，得到與所述目標面部視頻幀對應的融合面部視頻幀。

7.根據權利要求5所述的方法，其中，所述對各初始重建面部視頻幀進行融合處理，得到與所述目標面部視頻幀對應的融合面部視頻幀，包括：

將各初始重建面部視頻幀輸入融合模型，以使所述融合模型輸出與所述目標面部視頻幀對應的融合面部視頻幀。

8.根據權利要求4所述的方法，其中，所述基于所述多個參考面部視頻幀和所述目標緊湊特征，進行面部視頻幀重建，得到與所述目標面部視頻幀對應的融合面部視頻幀，包括：

針對每個參考面部視頻幀，基于該參考面部視頻幀和所述目標緊湊特征，得到該參考面部視頻幀對應的驅動信息，所述驅動信息包括：該參考面部視頻幀和所述目標面部視頻幀之間的運動估計圖；

將各參考面部視頻幀和各參考面部視頻幀對應的驅動信息輸入第一生成模型，得到與所述目標面部視頻幀對應的融合面部視頻幀。

9.根據權利要求4所述的方法，其中，所述基于所述多個參考面部視頻幀和所述目標緊湊特征，進行面部視頻幀重建，得到與所述目標面部視頻幀對應的融合面部視頻幀，包括：

針對每個參考面部視頻幀，基于該參考面部視頻幀和所述目標緊湊特征，得到該參考面部視頻幀對應的驅動信息；

將各參考面部視頻幀和各參考面部視頻幀對應的驅動信息輸入第二生成模型，得到分別與各參考面部視頻幀對應的初始重建面部視頻幀；

將各初始重建面部視頻幀輸入融合模型，以使所述融合模型輸出與所述目標面部視頻幀對應的融合面部視頻幀。