[發(fā)明專利]唇形驅(qū)動(dòng)方法、唇形驅(qū)動(dòng)模型的訓(xùn)練方法、裝置及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202211306264.0
• 申請(qǐng)日: 2022-10-25
• 公開（公告）號(hào): CN115376211B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 周航;孫亞圣;何棟梁;劉經(jīng)拓
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06N3/04;G06N3/08;G06T13/20;G06T13/60;G06V10/44;G06V10/764;G06V10/82;G06V40/16;G10L15/02
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 馬迪

1.一種唇形驅(qū)動(dòng)模型的訓(xùn)練方法，其中，唇形驅(qū)動(dòng)模型包括唇形驅(qū)動(dòng)網(wǎng)絡(luò)、唇形增強(qiáng)網(wǎng)絡(luò)和唇音同步判別網(wǎng)絡(luò)；所述唇形增強(qiáng)網(wǎng)絡(luò)包括編碼子網(wǎng)絡(luò)、注意力網(wǎng)絡(luò)和解碼子網(wǎng)絡(luò)；所述編碼子網(wǎng)絡(luò)包括至少一個(gè)編碼單元；所述解碼子網(wǎng)絡(luò)包括至少一個(gè)解碼單元；所述解碼單元包括第一反卷積層、特征拼接層、第二反卷積層和圖像轉(zhuǎn)換層；所述方法包括：

將樣本訓(xùn)練數(shù)據(jù)輸入所述唇形驅(qū)動(dòng)網(wǎng)絡(luò)，得到第一唇形圖像數(shù)據(jù)和樣本音頻特征；其中，所述樣本訓(xùn)練數(shù)據(jù)包括樣本臉部圖像數(shù)據(jù)和與所述樣本臉部圖像數(shù)據(jù)對(duì)齊的樣本語音數(shù)據(jù)；

將所述第一唇形圖像數(shù)據(jù)、所述樣本音頻特征和所述樣本臉部圖像數(shù)據(jù)，輸入所述唇形增強(qiáng)網(wǎng)絡(luò)，得到第二唇形圖像數(shù)據(jù)，包括：

采用所述編碼子網(wǎng)絡(luò)對(duì)所述第一唇形圖像數(shù)據(jù)和所述樣本臉部圖像數(shù)據(jù)進(jìn)行編碼，得到樣本編碼特征；

采用所述注意力網(wǎng)絡(luò)對(duì)所述樣本編碼特征進(jìn)行變換，得到經(jīng)變換的樣本編碼特征；

采用所述解碼子網(wǎng)絡(luò)對(duì)所述樣本編碼特征、經(jīng)變換的樣本編碼特征和所述樣本音頻特征進(jìn)行解碼，得到第二唇形圖像數(shù)據(jù)，包括：

采用所述解碼單元的第一反卷積層對(duì)輸入特征和所述樣本音頻特征進(jìn)行解碼，得到第一解碼特征；其中，所述第一反卷積層包括第一卷積核權(quán)重；采用所述樣本音頻特征對(duì)所述第一卷積核權(quán)重進(jìn)行調(diào)整；所述輸入特征包括經(jīng)變換的樣本編碼特征或所述解碼單元的上一解碼單元輸出的第二解碼特征；

采用所述解碼單元的特征拼接層對(duì)所述第一解碼特征和所述樣本編碼特征進(jìn)行拼接，得到拼接特征；其中，所述樣本編碼特征為所述解碼單元對(duì)應(yīng)的編碼子網(wǎng)絡(luò)中編碼單元輸出；

采用所述解碼單元的第二反卷積層對(duì)所述拼接特征和所述樣本音頻特征進(jìn)行解碼，得到第二解碼特征；其中，所述第二反卷積層包括第二卷積核權(quán)重，采用所述樣本音頻特征對(duì)所述第二卷積核權(quán)重進(jìn)行調(diào)整；

采用所述解碼單元的圖像轉(zhuǎn)換層對(duì)所述第二解碼特征進(jìn)行圖像轉(zhuǎn)換，得到中間唇形圖像數(shù)據(jù)；若所述解碼單元為所述解碼子網(wǎng)絡(luò)的末尾解碼單元，則將所述中間唇形圖像數(shù)據(jù)作為第二唇形圖像數(shù)據(jù)；

將所述第二唇形圖像數(shù)據(jù)和所述樣本音頻特征，輸入所述唇音同步判別網(wǎng)絡(luò)，得到判別結(jié)果；

根據(jù)所述第二唇形圖像數(shù)據(jù)和所述判別結(jié)果，確定訓(xùn)練損失；

根據(jù)所述訓(xùn)練損失，對(duì)所述唇形驅(qū)動(dòng)網(wǎng)絡(luò)、所述唇形增強(qiáng)網(wǎng)絡(luò)和所述唇音同步判別網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述采用所述解碼單元的第一反卷積層對(duì)輸入特征和所述樣本音頻特征進(jìn)行解碼，得到第一解碼特征，包括：

根據(jù)所述樣本音頻特征對(duì)第一反卷積層的第一卷積核權(quán)重進(jìn)行調(diào)整，得到經(jīng)調(diào)整的第一卷積核權(quán)重；

通過第一反卷積層，采用經(jīng)調(diào)整的第一卷積核權(quán)重對(duì)所述輸入特征進(jìn)行處理，得到所述第一解碼特征；

采用所述解碼單元的第二反卷積層對(duì)所述拼接特征和所述樣本音頻特征進(jìn)行解碼，得到第二解碼特征，包括：

根據(jù)所述樣本音頻特征對(duì)第二反卷積層的第二卷積核權(quán)重進(jìn)行調(diào)整，得到經(jīng)調(diào)整的第二卷積核權(quán)重；

通過第二反卷積層，采用經(jīng)調(diào)整的第二卷積核權(quán)重對(duì)所述拼接特征進(jìn)行處理，得到所述第二解碼特征。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述第二唇形圖像數(shù)據(jù)和所述判別結(jié)果，確定訓(xùn)練損失，包括：

根據(jù)所述第二唇形圖像數(shù)據(jù)和唇形監(jiān)督數(shù)據(jù)，確定第一損失；

根據(jù)所述判別結(jié)果，確定第二損失；

根據(jù)所述第一損失和所述第二損失，確定訓(xùn)練損失。

4.根據(jù)權(quán)利要求3所述的方法，所述唇形驅(qū)動(dòng)模型還包括生成式對(duì)抗GAN網(wǎng)絡(luò)和VGG網(wǎng)絡(luò)；所述方法還包括：

分別將所述第二唇形圖像數(shù)據(jù)輸入所述GAN網(wǎng)絡(luò)和所述VGG網(wǎng)絡(luò)，得到第三唇形圖像數(shù)據(jù)和第四唇形圖像數(shù)據(jù)；

根據(jù)所述第三唇形圖像數(shù)據(jù)和唇形監(jiān)督數(shù)據(jù)，確定第三損失；

根據(jù)所述第四唇形圖像數(shù)據(jù)和唇形監(jiān)督數(shù)據(jù)，確定第四損失；

根據(jù)所述第一損失、所述第二損失、所述第三損失和所述第四損失，確定訓(xùn)練損失。

5.根據(jù)權(quán)利要求1所述的方法，還包括：

對(duì)至少兩個(gè)初始臉部圖像數(shù)據(jù)進(jìn)行對(duì)齊；

從經(jīng)對(duì)齊的初始臉部圖像中剔除唇部區(qū)域，得到所述樣本臉部圖像數(shù)據(jù)。