[發(fā)明專利]一種臉部驅(qū)動和直播方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110756772.8
• 申請日: 2021-07-05
• 公開（公告）號: CN113486787A
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 林哲
• 申請（專利權(quán)）人: 廣州虎牙科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/55;G06T15/00;H04N5/265;H04N21/2187;H04N21/234;H04N21/426;H04N21/44;H04N21/4788
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 李彩玲

1.一種臉部驅(qū)動方法，其特征在于，包括：

獲取源圖像和驅(qū)動圖像，源圖像和驅(qū)動圖像中包括不同對象的臉部數(shù)據(jù)；

根據(jù)在源圖像中提取的臉部外觀特征，以及在驅(qū)動圖像中提取的臉部姿態(tài)表情特征，合成得到至少一張合成臉部圖像；

根據(jù)各合成臉部圖像的臉部特征，以及源圖像的背景特征，合成得到目標(biāo)驅(qū)動圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)在源圖像中提取的臉部外觀特征，以及在驅(qū)動圖像中提取的臉部姿態(tài)表情特征，合成得到至少一張合成臉部圖像，包括：

將源圖像和驅(qū)動圖像分別輸入至臉部重建網(wǎng)絡(luò)中，獲取源圖像中的臉部形狀向量集和臉部紋理向量集，并獲取驅(qū)動圖像中的臉部表情向量集和臉部角度向量集；

將臉部形狀向量集、臉部紋理向量集、臉部表情向量集和臉部角度向量集共同輸入至臉部渲染模型中，獲取臉部渲染模型合成得到的合成臉部渲染圖像和合成臉部深度圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)各合成臉部圖像的臉部特征，以及源圖像的背景特征，合成得到目標(biāo)驅(qū)動圖像，包括：

將源圖像輸入至預(yù)先訓(xùn)練的特征編碼器中，獲取源圖像的背景特征編碼；

將各合成臉部圖像以及所述背景特征編碼共同輸入至預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型中，獲取神經(jīng)網(wǎng)絡(luò)模型合成得到的目標(biāo)驅(qū)動圖像；

其中，特征編碼器和神經(jīng)網(wǎng)絡(luò)模型使用相同的訓(xùn)練樣本集，以無監(jiān)督的方式共同訓(xùn)練得到，訓(xùn)練樣本包括：源樣本圖像和驅(qū)動樣本圖像，源樣本圖像和驅(qū)動樣本圖像中的臉部數(shù)據(jù)所屬的對象相同或不同。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型為Unet神經(jīng)網(wǎng)絡(luò)模型；

所述Unet神經(jīng)網(wǎng)絡(luò)模型包括：相連的神經(jīng)網(wǎng)絡(luò)編碼器以及神經(jīng)網(wǎng)絡(luò)解碼器，所述特征編碼器的輸出端與所述神經(jīng)網(wǎng)絡(luò)解碼器的輸入端相連；各合成臉部圖像輸入至神經(jīng)網(wǎng)絡(luò)編碼器的輸入端；

所述神經(jīng)網(wǎng)絡(luò)編碼器，用于生成各合成臉部圖像的臉部特征，并傳輸至所述神經(jīng)網(wǎng)絡(luò)解碼器；

所述神經(jīng)網(wǎng)絡(luò)解碼器，用于根據(jù)各合成臉部圖像的臉部特征以及源圖像的背景特征編碼，合成得到的目標(biāo)驅(qū)動圖像。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，在根據(jù)各合成臉部圖像的臉部特征，以及源圖像的背景特征，合成得到目標(biāo)驅(qū)動圖像之前，還包括：

在訓(xùn)練樣本集中依次獲取當(dāng)前訓(xùn)練樣本，并獲取當(dāng)前訓(xùn)練樣本中的當(dāng)前源樣本圖像以及當(dāng)前驅(qū)動樣本圖像；

采用所述臉部重建網(wǎng)絡(luò)和所述臉部渲染模型，獲取與所述當(dāng)前源樣本圖像以及當(dāng)前驅(qū)動樣本圖像對應(yīng)的當(dāng)前合成臉部渲染圖像和當(dāng)前合成臉部深度圖像；

采用當(dāng)前訓(xùn)練的所述特征編碼器和所述神經(jīng)網(wǎng)絡(luò)模型，根據(jù)當(dāng)前合成臉部渲染圖像和當(dāng)前合成臉部深度圖像，合成得到當(dāng)前目標(biāo)驅(qū)動圖像；

根據(jù)將當(dāng)前目標(biāo)驅(qū)動圖像重新輸入至所述臉部重建網(wǎng)絡(luò)和所述特征編碼器得到的結(jié)果，計(jì)算得到目標(biāo)損失函數(shù)；

使用目標(biāo)損失函數(shù)對所述特征編碼器和所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)調(diào)整后，返回執(zhí)行在訓(xùn)練樣本集中依次獲取當(dāng)前訓(xùn)練樣本的操作，直至滿足結(jié)束訓(xùn)練條件。