[發明專利]唇形驅動方法、唇形驅動模型的訓練方法、裝置及設備

有效

• 申請號: 202211306264.0
• 申請日: 2022-10-25
• 公開（公告）號: CN115376211B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 周航;孫亞圣;何棟梁;劉經拓
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06N3/04;G06N3/08;G06T13/20;G06T13/60;G06V10/44;G06V10/764;G06V10/82;G06V40/16;G10L15/02
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 馬迪

本公開提供了一種唇形驅動方法、唇形驅動模型的訓練方法、裝置及設備，涉及計算機視覺、增強現實、虛擬現實等人工智能技術領域，可應用于元宇宙、虛擬數字人等場景。具體實現方案為：將樣本訓練數據輸入所述唇形驅動網絡，得到第一唇形圖像數據和樣本音頻特征；將所述第一唇形圖像數據、所述樣本音頻特征和所述樣本臉部圖像數據，輸入所述唇形增強網絡，得到第二唇形圖像數據；將所述第二唇形圖像數據和所述樣本音頻特征，輸入所述唇音同步判別網絡，得到判別結果；根據所述第二唇形圖像數據和所述判別結果，確定訓練損失；根據所述訓練損失，對所述唇形驅動網絡、所述唇形增強網絡和所述唇音同步判別網絡進行訓練。

技術領域

本公開涉及人工智能技術領域，具體為計算機視覺、增強現實、虛擬現實、深度學習等技術領域，可應用于元宇宙、虛擬數字人等場景。

背景技術

語音驅動唇形是指在保持底板視頻除唇部信息外其他信息不變的情況下，根據輸入的音頻信息，驅動視頻中人物唇形的技術。現有技術多直接采用基于卷積神經網絡的主干網絡輸出的結果，作為唇形和音頻同步的唇形圖像數據（即唇形補全圖像）。這樣較難將音頻信息融合進分辨率較大的圖像，只能生成圖像質量較低的唇形圖像數據。若增加主干網絡的能力，以生成分辨率高的唇形圖像數據，則導致所得到的唇形圖像數據可能存在身份信息丟失或者唇形信息不準確，因此亟需改進。

發明內容

本公開提供了一種唇形驅動方法、唇形驅動模型的訓練方法、裝置及設備。

根據本公開的一方面，提供了一種唇形驅動模型的訓練方法，其中，唇形驅動模型包括唇形驅動網絡、唇形增強網絡和唇音同步判別網絡；該方法包括：

將樣本訓練數據輸入所述唇形驅動網絡，得到第一唇形圖像數據和樣本音頻特征；其中，所述樣本訓練數據包括樣本臉部圖像數據和與所述樣本臉部圖像數據對齊的樣本語音數據；

將所述第一唇形圖像數據、所述樣本音頻特征和所述樣本臉部圖像數據，輸入所述唇形增強網絡，得到第二唇形圖像數據；

將所述第二唇形圖像數據和所述樣本音頻特征，輸入所述唇音同步判別網絡，得到判別結果；

根據所述第二唇形圖像數據和所述判別結果，確定訓練損失；

根據所述訓練損失，對所述唇形驅動網絡、所述唇形增強網絡和所述唇音同步判別網絡進行訓練。

根據本公開的另一方面，提供了一種唇形驅動方法，該方法包括：

獲取目標臉部圖像數據和目標語音數據；

將所述目標臉部圖像數據和所述目標語音數據，輸入唇形驅動模型，得到在所述目標語音數據驅動下的目標唇形圖像數據；其中，所述唇形驅動模型基于本公開任一實施例所述的唇形驅動模型的訓練方法訓練得到。

根據本公開的另一方面，提供了一種唇形驅動模型的訓練裝置，其中，唇形驅動模型包括唇形驅動網絡、唇形增強網絡和唇音同步判別網絡；該裝置包括：

第一唇形圖像確定模塊，用于將樣本訓練數據輸入所述唇形驅動網絡，得到第一唇形圖像數據和樣本音頻特征；其中，所述樣本訓練數據包括樣本臉部圖像數據和與所述樣本臉部圖像數據對齊的樣本語音數據；

第二唇形圖像確定模塊，用于將所述第一唇形圖像數據、所述樣本音頻特征和所述樣本臉部圖像數據，輸入所述唇形增強網絡，得到第二唇形圖像數據；

判別結果確定模塊，用于將所述第二唇形圖像數據和所述樣本音頻特征，輸入所述唇音同步判別網絡，得到判別結果；

訓練損失確定模塊，用于根據所述第二唇形圖像數據和所述判別結果，確定訓練損失；

網絡訓練模塊，用于根據所述訓練損失，對所述唇形驅動網絡、所述唇形增強網絡和所述唇音同步判別網絡進行訓練。