[發明專利]視頻生成方法和裝置、存儲介質和電子設備

在審

• 申請號: 202110298211.8
• 申請日: 2021-03-19
• 公開（公告）號: CN113079327A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 顧宇;馬澤君
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265;G10L15/02;G10L15/06;G10L25/03;G10L13/02
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 李柯瑩

本公開涉及一種視頻生成方法和裝置、存儲介質和電子設備，所述方法包括：獲取待處理音頻；將所述待處理音頻轉換成待處理音頻特征向量；將所述待處理音頻特征向量輸入視頻生成模型，得到發音器官視頻特征序列；根據所述發音器官視頻特征序列生成與所述待處理音頻對應的發音器官動作視頻；其中，所述視頻生成模型是通過如下方式訓練得到的：根據由樣本音頻轉換成的樣本音頻特征向量、與所述樣本音頻對應的樣本發音器官動作視頻的樣本發音器官視頻特征序列構建模型訓練數據；根據所述模型訓練數據訓練得到所述視頻生成模型。本公開不僅提高了發音器官動作視頻的生成效率，還利用發音器官動作視頻還原并直觀展示了發音器官的真實發音動作過程。

技術領域

本公開涉及視頻領域，具體地，涉及一種視頻生成方法和裝置、存儲介質和電子設備。

背景技術

在進行發音學習的場景下，人們很難知悉他人口腔內部發音器官的動作和發力情況，只根據聲音來判斷和模擬應該如何發音是較為困難的，學習效果較差，效率較低。

目前，可以通過制作演示動畫的形式對發音時的人臉情況進行模擬展示，但是這種方式無法展示真實的口腔內部發音器官的動作畫面，參考性不高，并且人為繪制動畫也費時費力效率不高。

發明內容

提供該發明內容部分以便以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。該發明內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

第一方面，本公開提供一種視頻生成方法，包括獲取待處理音頻；將所述待處理音頻轉換成待處理音頻特征向量；將所述待處理音頻特征向量輸入視頻生成模型，得到發音器官視頻特征序列；根據所述發音器官視頻特征序列生成與所述待處理音頻對應的發音器官動作視頻；其中，所述視頻生成模型是通過如下方式訓練得到的：根據由樣本音頻轉換成的樣本音頻特征向量、與所述樣本音頻對應的樣本發音器官動作視頻的樣本發音器官視頻特征序列構建模型訓練數據；根據所述模型訓練數據訓練得到所述視頻生成模型。

第二方面，本公開提供一種視頻生成裝置，所述裝置包括：獲取模塊，用于獲取待處理音頻；轉換模塊，用于將所述待處理音頻轉換成待處理音頻特征向量；輸入模塊，用于將所述待處理音頻特征向量輸入視頻生成模型，得到發音器官視頻特征序列；生成模塊，用于根據所述發音器官視頻特征序列生成與所述待處理音頻對應的發音器官動作視頻；訓練模塊，用于根據由樣本音頻轉換成的樣本音頻特征向量、與所述樣本音頻對應的樣本發音器官動作視頻的樣本發音器官視頻特征序列構建模型訓練數據；根據所述模型訓練數據訓練得到所述視頻生成模型。

第三方面，本公開提供一種計算機可讀介質，其上存儲有計算機程序，該程序被處理裝置執行時實現本公開第一方面所述方法的步驟。

第四方面，本公開提供一種電子設備，包括存儲裝置和處理裝置，存儲裝置上存儲有計算機程序；處理裝置，用于執行所述存儲裝置中的所述計算機程序，以實現本公開第一方面所述方法的步驟。

通過上述的技術方案，至少可以達到以下的技術效果：

通過獲取待處理音頻，并將由待處理音頻轉換而成的待處理音頻特征向量輸入視頻生成模型，得到發音器官視頻特征序列，并根據該發音器官視頻特征序列生成與待處理音頻對應的發音器官動作視頻。如此可以快捷高效地基于任意音頻生成對應的發音器官動作視頻，不僅提高了發音器官動作視頻的生成效率，還利用發音器官動作視頻還原并直觀展示了發音器官的真實發音動作過程。

本公開的其他特征和優點將在隨后的具體實施方式部分予以詳細說明。

附圖說明

結合附圖并參考以下具體實施方式，本公開各實施例的上述和其他特征、優點及方面將變得更加明顯。貫穿附圖中，相同或相似的附圖標記表示相同或相似的元素。應當理解附圖是示意性的，原件和元素不一定按照比例繪制。在附圖中：