[發(fā)明專利]視頻生成方法和裝置、存儲(chǔ)介質(zhì)和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110298212.2
• 申請(qǐng)日: 2021-03-19
• 公開(kāi)（公告）號(hào): CN113079328B
• 公開(kāi)（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 顧宇;馬澤君
• 申請(qǐng)（專利權(quán)）人: 北京有竹居網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): H04N5/262
• 分類號(hào): H04N5/262;H04N5/265;G10L13/02;G10L15/02;G10L15/06;G10L25/03
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 曹寒梅

1.一種視頻生成方法，其特征在于，所述方法包括：

將待處理文本分割為音素序列，將所述音素序列輸入視頻特征生成模型，得到所述視頻特征生成模型輸出的視頻特征序列；

對(duì)所述視頻特征序列中的各特征信息進(jìn)行還原，得到對(duì)應(yīng)的還原圖像，根據(jù)所述視頻特征序列的排序順序?qū)⒏鬟€原圖像進(jìn)行排列，得到發(fā)音器官動(dòng)作視頻；

其中，所述視頻特征生成模型是通過(guò)以下步驟訓(xùn)練得到的：

采集基于樣本文本錄制的樣本發(fā)音器官動(dòng)作視頻和樣本音頻；

將樣本文本進(jìn)行分句，得到多個(gè)樣本子句文本；

對(duì)所述樣本音頻進(jìn)行識(shí)別，確定各樣本子句文本對(duì)應(yīng)的語(yǔ)音片段，基于各語(yǔ)音片段的時(shí)間軸信息，從所述樣本發(fā)音器官動(dòng)作視頻中確定各語(yǔ)音片段對(duì)應(yīng)的樣本發(fā)音器官動(dòng)作子視頻；

逐幀對(duì)各所述樣本發(fā)音器官動(dòng)作子視頻進(jìn)行主成分分析，得到各視頻幀的主成分信息，將主成分信息作為特征信息，將各視頻幀的主成分信息按照視頻幀順序進(jìn)行排列，得到樣本視頻特征序列；

基于樣本子句文本的音素序列及其對(duì)應(yīng)的樣本視頻特征序列，訓(xùn)練所述視頻特征生成模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在對(duì)所述視頻特征生成模型進(jìn)行訓(xùn)練的過(guò)程中，還包括：

逐幀對(duì)所述樣本發(fā)音器官動(dòng)作視頻中的面部位置進(jìn)行調(diào)整，以使各視頻幀中的相同器官位于相同的圖像位置。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述視頻特征生成模型為注意力模型，所述視頻特征生成模型包括編碼器和解碼器，所述編碼器用于基于音素序列生成編碼結(jié)果，所述解碼器用于基于所述編碼結(jié)果生成視頻特征序列。

4.一種視頻生成裝置，其特征在于，所述裝置包括：

輸入模塊，用于將待處理文本分割為音素序列，將所述音素序列輸入視頻特征生成模型，得到所述視頻特征生成模型輸出的視頻特征序列；

生成模塊，用于對(duì)所述視頻特征序列中的各特征信息進(jìn)行還原，得到對(duì)應(yīng)的還原圖像，根據(jù)所述視頻特征序列的排序順序?qū)⒏鬟€原圖像進(jìn)行排列，得到發(fā)音器官動(dòng)作視頻；

其中，所述視頻特征生成模型是通過(guò)以下步驟訓(xùn)練得到的：

采集基于樣本文本錄制的樣本發(fā)音器官動(dòng)作視頻和樣本音頻；

將樣本文本進(jìn)行分句，得到多個(gè)樣本子句文本；

對(duì)所述樣本音頻進(jìn)行識(shí)別，確定各樣本子句文本對(duì)應(yīng)的語(yǔ)音片段，基于各語(yǔ)音片段的時(shí)間軸信息，從所述樣本發(fā)音器官動(dòng)作視頻中確定各語(yǔ)音片段對(duì)應(yīng)的樣本發(fā)音器官動(dòng)作子視頻；

逐幀對(duì)各所述樣本發(fā)音器官動(dòng)作子視頻進(jìn)行主成分分析，得到各視頻幀的主成分信息，將主成分信息作為特征信息，將各視頻幀的主成分信息按照視頻幀順序進(jìn)行排列，得到樣本視頻特征序列；

基于樣本子句文本的音素序列及其對(duì)應(yīng)的樣本視頻特征序列，訓(xùn)練所述視頻特征生成模型。

5.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理裝置執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-3中任一項(xiàng)所述方法的步驟。

6.一種電子設(shè)備，其特征在于，包括：

存儲(chǔ)裝置，其上存儲(chǔ)有計(jì)算機(jī)程序；

處理裝置，用于執(zhí)行所述存儲(chǔ)裝置中的所述計(jì)算機(jī)程序，以實(shí)現(xiàn)權(quán)利要求1-3中任一項(xiàng)所述方法的步驟。