[發明專利]一種基于個性化語音進行視頻合成的處理方法及裝置

在審

• 申請號: 202210146223.3
• 申請日: 2022-02-17
• 公開（公告）號: CN114519997A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 王心瑩;姚廣;朱彥;余意;楊杰
• 申請（專利權）人: 湖南快樂陽光互動娛樂傳媒有限公司
• 主分類號: G10L13/033
• 分類號: G10L13/033;G10L13/08;G10L25/57;G06Q10/10
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 錢娜

1.一種基于個性化語音進行視頻合成的處理方法，其特征在于，所述方法包括：

獲取待處理數據和處于授權狀態的視頻對象；所述待處理數據包括個性化文本數據和/或個性化音頻數據；

通過智能審核技術，對所述待處理數據進行智能審核，得到審核結果；所述智能審核用于檢測所述待處理數據的合法性；

若所述審核結果為合法的待處理數據，則通過預設模擬規則對所述視頻對象的聲線進行模擬，得到目標語音；所述目標語音為根據所述合法的待處理數據生成與所述視頻對象的聲線一致的個性化語音；

將所述目標語音與所述視頻對象對應的視頻進行合成，得到個性化視頻。

2.根據權利要求1所述的方法，其特征在于，所述獲取待處理數據和處于授權狀態的視頻對象，包括：

從預設信息來源中獲取待處理數據和處于授權狀態的視頻對象。

3.根據權利要求1所述的方法，其特征在于，所述通過智能審核技術，對所述待處理數據進行智能審核，得到審核結果，包括：

通過智能審核技術，對所述待處理數據中的數據內容進行審核；

當監測到所述待處理數據中的數據內容與預設非法數據內容一致時，確定所述待處理數據為非法的待處理數據；

當監測到所述待處理數據中的數據內容與所述預設非法數據內容不一致時，確定所述待處理數據為合法的待處理數據。

4.根據權利要求3所述的方法，其特征在于，當所述待處理數據包括個性化文本數據時，所述若所述審核結果為合法的待處理數據，則通過預設模擬規則對所述視頻對象的聲線進行模擬，得到目標語音，包括：

若所述審核結果為合法的待處理數據，通過聲紋識別模型，提取所述視頻對象對應的聲音特征信息，并將所述聲音特征信息嵌入編碼為固定維度的向量；所述固定維度的向量用于表征所述視頻對象的聲音特征；

通過預設循環序列到序列特征預測網絡，對所述個性化文本數據和所述固定維度的向量進行預測，得到所述視頻對象對應的第一梅爾頻譜圖；所述第一梅爾頻譜圖為通過所述預設循環序列到序列特征預測網絡得到的梅爾頻譜圖；

通過語音合成器將所述第一梅爾頻譜圖轉換為第一時間序列聲音波形圖，并基于所述第一時間序列聲音波形圖，得到目標語音。

5.根據權利要求3所述的方法，其特征在于，所述若所述審核結果為合法的待處理數據，則通過預設模擬規則對所述視頻對象的聲線進行模擬，得到目標語音，包括：

若所述審核結果為合法的待處理數據，獲取所述視頻對象對應的多個聲音特征信息；

通過預設非自回歸語音合成模型架構對所述視頻對象對應的多個聲音特征信息進行合成，得到第二梅爾頻譜圖；所述第二梅爾頻譜圖為通過所述預設非自回歸語音合成模型架構得到的梅爾頻譜圖；

通過語音合成器將所述第二梅爾頻譜圖轉換為第二時間序列聲音波形圖，并基于所述第二時間序列聲音波形圖，得到目標語音。

6.根據權利要求3所述的方法，其特征在于，還包括：

若所述待處理數據為非法的待處理數據，則生成非法提示信息。

7.根據權利要求1所述的方法，其特征在于，所述將所述目標語音與所述視頻對象對應的視頻進行合成，得到個性化視頻，包括：

根據預設特效，將所述目標語音與所述視頻對象對應的視頻進行合成，得到個性化視頻。

8.一種基于個性化語音進行視頻合成的處理裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取待處理數據和處于授權狀態的視頻對象；所述待處理數據包括個性化文本數據和/或個性化音頻數據；

審核單元，用于通過智能審核技術，對所述待處理數據進行智能審核，得到審核結果；所述智能審核用于檢測所述待處理數據的合法性；

模擬單元，用于若所述審核結果為合法的待處理數據，則通過預設模擬規則對所述視頻對象的聲線進行模擬，得到目標語音；所述目標語音為根據所述合法的待處理數據生成與所述視頻對象的聲線一致的個性化語音；

合成單元，用于將所述目標語音與所述視頻對象對應的視頻進行合成，得到個性化視頻。