[發明專利]一種面部視頻編碼方法、解碼方法及裝置

在審

• 申請號: 202210085764.X
• 申請日: 2022-01-25
• 公開（公告）號: CN114531561A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 王釗;李彬哲;葉琰;王詩淇
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04N19/20;H04N19/44;H04N21/2187;H04N21/4788
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

本申請實施例提供了一種面部視頻編碼方法、解碼方法及裝置。面部視頻編碼方法包括：獲取待編碼的目標面部視頻幀和與參考面部視頻幀對應的三維面部模板；對目標面部視頻幀和三維面部模板進行特征提取，得到目標三維面部描述信息；編碼目標三維面部描述信息，得到面部視頻比特流。本申請實施例，使用三維面部描述信息對面部進行描述，描述信息的準確度更高，進而再基于上述描述準確度較高的三維面部描述信息進行面部視頻幀重建，得到的重建面部視頻幀與目標面部視頻幀間的質量差異則較小。本申請實施例，可以提升面部視頻幀重建的質量。

技術領域

本申請實施例涉及計算機技術領域，尤其涉及一種面部視頻編碼方法、解碼方法及裝置。

背景技術

隨著視頻編解碼技術的不斷發展，視頻編解碼設備已被廣泛應用于各種場景中，例如：視頻會議、視頻直播等等。

目前，較為傳統的視頻編解碼方法，通常是基于二維特征對面部視頻幀進行面部信息提取和描述的，而二維特征本身是對原始三維面部進行映射得到的，其得到過程存在一定的扭曲和失真，因此，基于上述二維特征進行面部視頻的編解碼操作，最終得到的重建面部視頻幀的質量較差。

發明內容

有鑒于此，本申請實施例提供一種面部視頻編碼方法、解碼方法及裝置，以至少部分解決上述問題。

根據本申請實施例的第一方面，提供了一種面部視頻編碼方法，包括：

獲取待編碼的目標面部視頻幀和與參考面部視頻幀對應的三維面部模板；

對所述目標面部視頻幀和所述三維面部模板進行特征提取，得到目標三維面部描述信息；

編碼所述目標三維面部描述信息，得到面部視頻比特流。

根據本申請實施例的第二方面，提供了一種面部視頻解碼方法，包括：

獲取面部視頻比特流和三維面部模板；所述面部視頻比特流是基于目標面部視頻幀對應的目標三維面部描述信息得到的；

解碼所述面部視頻比特流，得到所述目標三維面部描述信息；

基于所述目標三維面部描述信息，對所述三維面部模板進行形變處理，得到與所述目標面部視頻幀對應的重建面部視頻幀。

根據本申請實施例的第三方面，提供了一種模型訓練方法，包括：

根據目標面部視頻幀樣本和三維面部模板樣本，得到目標三維面部描述樣本信息；

將所述目標三維面部描述樣本信息輸入待訓練的全連接編碼模型，得到潛在編碼樣本信息；

編碼所述潛在編碼樣本信息，得到面部視頻比特流樣本；

對所述面部視頻比特流樣本進行解碼，得到潛在編碼樣本信息；并將所述潛在編碼樣本信息輸入待訓練的全連接解碼模型，得到目標三維面部描述樣本信息；

基于所述目標三維面部描述樣本信息，對所述三維面部模板樣本進行形變處理，得到重建面部視頻幀樣本；

根據所述面部視頻比特流樣本對應的傳輸碼率構建碼率損失函數；根據所述重建面部視頻幀樣本和所述目標面部視頻幀樣本，構建失真損失函數；

基于所述碼率損失函數和所述失真損失函數得到訓練損失函數，以對全連接編碼模型和全連接解碼模型進行訓練。

根據本申請實施例的第四方面，提供了一種電子設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如第一方面所述的面部視頻編碼方法對應的操作，或者，如第二方面所述的面部視頻解碼方法對應的操作，或者，如第三方面所述的模型訓練方法對應的操作。