[發明專利]視頻生成方法和裝置、存儲介質和電子設備

在審

• 申請號: 202110298211.8
• 申請日: 2021-03-19
• 公開（公告）號: CN113079327A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 顧宇;馬澤君
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265;G10L15/02;G10L15/06;G10L25/03;G10L13/02
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 李柯瑩

1.一種視頻生成方法，其特征在于，所述方法包括：

獲取待處理音頻；

將所述待處理音頻轉換成待處理音頻特征向量；

將所述待處理音頻特征向量輸入視頻生成模型，得到發音器官視頻特征序列；

根據所述發音器官視頻特征序列生成與所述待處理音頻對應的發音器官動作視頻；

其中，所述視頻生成模型是通過如下方式訓練得到的：

根據由樣本音頻轉換成的樣本音頻特征向量、與所述樣本音頻對應的樣本發音器官動作視頻的樣本發音器官視頻特征序列構建模型訓練數據；

根據所述模型訓練數據訓練得到所述視頻生成模型。

2.根據權利要求1所述的方法，其特征在于，所述樣本音頻特征向量是通過如下方式得到的：

將所述樣本音頻中的每一幀音頻轉換成樣本音素后驗概率向量，得到包括至少一個樣本音素后驗概率向量的樣本音素后驗概率向量序列，將所述樣本音素后驗概率向量序列作為所述樣本音頻特征向量；

所述樣本發音器官視頻特征序列是通過如下方式得到的：

基于所述樣本發音器官動作視頻，提取與所述樣本音素后驗概率向量序列中每一所述樣本音素后驗概率向量對應的樣本發音器官視頻特征，得到所述樣本發音器官視頻特征序列。

3.根據權利要求2所述的方法，其特征在于，在所述基于所述樣本發音器官動作視頻，提取與所述樣本音素后驗概率向量序列中每一所述樣本音素后驗概率向量對應的樣本發音器官視頻特征之前，包括：

逐幀對所述樣本發音器官動作視頻中的發音器官位置進行調整，以使各幀視頻圖像中的相同發音器官位于相同的圖像位置。

4.根據權利要求2或3所述的方法，其特征在于，每一所述樣本發音器官視頻特征為所述樣本發音器官動作視頻中的至少一幀視頻圖像的像素點特征信息；或者，

每一所述樣本發音器官視頻特征為所述樣本發音器官動作視頻中的至少一幀視頻圖像的主成分特征信息。

5.根據權利要求1所述的方法，其特征在于，所述將所述待處理音頻轉換成待處理音頻特征向量，包括：

將所述待處理音頻輸入語音識別模型，得到所述待處理音頻特征向量，所述待處理音頻特征向量包括所述待處理音頻中每一幀音頻的音素后驗概率向量，每一所述音素后驗概率向量的維度為所述待處理音頻對應的語言類型包括的音素維度。

6.根據權利要求1所述的方法，其特征在于，所述獲取待處理音頻，包括：

獲取客戶端上傳的待處理音頻；

所述方法還包括：

向所述客戶端發送所述發音器官動作視頻，以使所述客戶端展示所述發音器官動作視頻。

7.根據權利要求1-3中任一項所述的方法，其特征在于，所述發音器官動作視頻為磁共振成像MRI視頻，所述發音器官動作視頻中包括上唇、下唇、上齒、下齒、齒齦、硬顎、軟顎、小舌、舌尖、舌面、舌根、鼻腔、口腔、咽頭、會厭、食道、氣管、聲帶、喉頭中的至少一種發音器官的動作。

8.一種視頻生成裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取待處理音頻；

轉換模塊，用于將所述待處理音頻轉換成待處理音頻特征向量；

輸入模塊，用于將所述待處理音頻特征向量輸入視頻生成模型，得到發音器官視頻特征序列；

生成模塊，用于根據所述發音器官視頻特征序列生成與所述待處理音頻對應的發音器官動作視頻；

訓練模塊，用于根據由樣本音頻轉換成的樣本音頻特征向量、與所述樣本音頻對應的樣本發音器官動作視頻的樣本發音器官視頻特征序列構建模型訓練數據；根據所述模型訓練數據訓練得到所述視頻生成模型。

9.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，該程序被處理裝置執行時實現權利要求1-7中任一項所述方法的步驟。

10.一種電子設備，其特征在于，包括：

存儲裝置，其上存儲有計算機程序；

處理裝置，用于執行所述存儲裝置中的所述計算機程序，以實現權利要求1-7中任一項所述方法的步驟。