[發(fā)明專利]一種視頻生成方法、存儲(chǔ)介質(zhì)及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110474530.X
• 申請(qǐng)日: 2021-04-29
• 公開（公告）號(hào): CN113077537B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 林哲;陀得意;韓欣彤;康世胤
• 申請(qǐng)（專利權(quán)）人: 廣州虎牙科技有限公司
• 主分類號(hào): G06T13/20
• 分類號(hào): G06T13/20;G06T13/40;G06V40/16
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 王茹

1.一種視頻生成方法，其特征在于，所述方法包括：

獲取初始圖片，檢測(cè)所述初始圖片中的人臉關(guān)鍵點(diǎn)，利用所述人臉關(guān)鍵點(diǎn)獲取初始人臉特征，所述初始人臉特征包括初始人臉形狀特征和初始頭部姿態(tài)特征；

獲取音頻數(shù)據(jù)，對(duì)所述音頻數(shù)據(jù)進(jìn)行切分，得到至少兩個(gè)音頻片段；

針對(duì)每個(gè)音頻片段，獲取所述音頻片段對(duì)應(yīng)的目標(biāo)表情特征，將所述初始人臉形狀特征、初始頭部姿態(tài)特征以及所述目標(biāo)表情特征進(jìn)行組合，得到所述音頻片段對(duì)應(yīng)的目標(biāo)人臉關(guān)鍵點(diǎn)；

基于所述目標(biāo)人臉關(guān)鍵點(diǎn)，得到所述音頻片段對(duì)應(yīng)的landmark圖片；

將所述landmark圖片和所述初始圖片作為換臉模型的輸入，得到所述音頻片段對(duì)應(yīng)的目標(biāo)人臉圖片；

從所述初始圖片檢測(cè)出人臉框，根據(jù)檢測(cè)出的人臉框，將所述目標(biāo)人臉圖片融合至所述初始圖片，構(gòu)建得到所述音頻片段對(duì)應(yīng)的目標(biāo)圖片；其中，所述目標(biāo)表情特征表征發(fā)言者以所述音頻片段發(fā)音而產(chǎn)生的人臉表情特征；

構(gòu)建出每個(gè)音頻片段對(duì)應(yīng)的目標(biāo)圖片后，將所有目標(biāo)圖片作為視頻幀進(jìn)行合并，得到目標(biāo)視頻。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述音頻數(shù)據(jù)是通過將目標(biāo)文本輸入預(yù)設(shè)的文本轉(zhuǎn)語音模型進(jìn)行轉(zhuǎn)換得到的。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)的文本轉(zhuǎn)語音模型具有對(duì)應(yīng)多種音色的語音合成庫；

所述獲取音頻數(shù)據(jù)，包括：

檢測(cè)所述初始圖片中人臉的屬性特征；

基于檢測(cè)到的屬性特征確定目標(biāo)音色；

將所述目標(biāo)文本輸入所述預(yù)設(shè)的文本轉(zhuǎn)語音模型，得到所述預(yù)設(shè)的文本轉(zhuǎn)語音模型根據(jù)所述目標(biāo)文本，從所述語音合成庫中提取出的對(duì)應(yīng)目標(biāo)音色的音頻數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述音頻片段對(duì)應(yīng)的目標(biāo)表情特征是基于將所述音頻片段輸入Speech2Face模型得到的。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取所述音頻片段對(duì)應(yīng)的目標(biāo)表情特征，包括：

對(duì)所述音頻片段進(jìn)行音素識(shí)別，得到對(duì)應(yīng)的音素?cái)?shù)據(jù)；

將所述音素?cái)?shù)據(jù)輸入預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型，得到所述音素?cái)?shù)據(jù)對(duì)應(yīng)的目標(biāo)表情特征，所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型是基于音素樣本數(shù)據(jù)和與所述音素樣本數(shù)據(jù)對(duì)應(yīng)的表情特征樣本數(shù)據(jù)訓(xùn)練得到的。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型基于以下訓(xùn)練過程得到：

獲取Speech2Face模型作為初始模型，所述Speech2Face模型的訓(xùn)練樣本包括音頻樣本數(shù)據(jù)和與所述音頻樣本數(shù)據(jù)對(duì)應(yīng)的表情特征樣本數(shù)據(jù)；

將所述音頻樣本數(shù)據(jù)進(jìn)行處理，得到音素樣本數(shù)據(jù)；

利用所述音素樣本數(shù)據(jù)和所述表情特征樣本數(shù)據(jù)對(duì)所述初始模型重新訓(xùn)練，將訓(xùn)練得到的模型確定為所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在檢測(cè)所述初始圖片中的人臉關(guān)鍵點(diǎn)之前，包括：

檢測(cè)所述初始圖片中的人臉框；

通過人臉框矯正模型對(duì)檢測(cè)到的人臉框進(jìn)行矯正，得到矯正后的人臉框，并根據(jù)矯正后的人臉框?qū)λ龀跏紙D片進(jìn)行裁剪。

8.一種計(jì)算機(jī)設(shè)備，其特征在于，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其中，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1～7任一項(xiàng)所述的方法。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1～7任一項(xiàng)所述的方法。