[發明專利]語音生成方法及裝置

在審

• 申請號: 202010113619.9
• 申請日: 2020-02-24
• 公開（公告）號: CN111326138A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 車浩;周芯永;王曉瑞
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G10L13/10
• 分類號: G10L13/10;G10L13/02
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 于麗君

本公開關于一種語音生成方法及裝置。該語音生成方法包括：獲取第一文本信息；將第一文本信息輸入預設的韻律分析模型，得到第一隱聲學特征；其中，第一隱聲學特征為第一文本信息對應的語音的特征；將第一隱聲學特征輸入預設的與目標說話人對應的自適應聲學模型，得到與目標說話人對應的第一聲學特征；根據第一聲學特征，生成與目標說話人和第一文本信息對應的語音。從而，無需獲取目標說話人的雙語信息，也無需獲取目標說話人的特定語音，實現能夠快速有效生成與目標說話人和目標語言對應的語音的目的。

技術領域

本公開涉及語音信號處理技術領域，尤其涉及一種語音生成方法及裝置。

背景技術

近年來，人工智能產業發展迅猛，各種智能化產品逐漸進入消費者的日常生活。語音作為人類信息傳遞最自然的載體，在人機交互的過程中扮演著重要的角色。隨著深度學習的推廣，語音信號處理技術也因此獲得了巨大進步，比如語音識別的準確率大幅度提升，語音合成生成的語音已經逼近人聲。語音克隆技術作為語音信號處理的一個重要研究領域，其目的是從少量目標說話人的語音數據中學習目標說話人的音色，合成具有目標說話人音色的語音，屬于特殊的語音合成技術。跨語言的語音克隆則是指從非目標語言的語音數據中學習目標說話人的音色，合成具有目標說話人音色的聲音，合成內容可以是目標語言的任意語音信息。傳統語音克隆方法一般需要獲取目標說話人的雙語信息，根據雙語信息進行學習并生成目標語言對應的目標說話人的語音，或者利用不同語言之間音素共享建模來生成目標語言對應的目標說話人的語音。

然而，獲取目標說話人的雙語信息的時間成本和生產成本較高，利用不同語言之間音素共享建模生成語音也需要獲取多說話人的雙語信息且生成語音的效果十分不理想，如何在有限數據資源下快速有效生成與目標說話人和目標語言對應的語音是一項亟待解決的問題。

發明內容

本公開提供一種語音生成方法及裝置，以至少解決相關技術中快速有效生成與目標說話人和目標語言對應的語音的問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種語音生成方法，包括：

獲取第一文本信息；

將所述第一文本信息輸入預設的韻律分析模型，得到第一隱聲學特征；其中，所述第一隱聲學特征為所述第一文本信息對應的語音的特征；

將所述第一隱聲學特征輸入預設的與目標說話人對應的自適應聲學模型，得到與所述目標說話人對應的第一聲學特征；

根據所述第一聲學特征，生成與所述目標說話人和所述第一文本信息對應的語音。

在其中一個實施例中，所述將所述第一文本信息輸入預設的韻律分析模型，得到第一隱聲學特征，之前包括：

獲取第二文本信息，以及獲取所述第二文本信息對應的第二語音樣本；

提取所述第二語音樣本對應的初始隱聲學特征；

將所述第二文本信息和所述初始隱聲學特征輸入預設的初始韻律分析模型，對所述初始韻律分析模型進行訓練，得到所述韻律分析模型。

在其中一個實施例中，所述將所述第一隱聲學特征輸入預設的與目標說話人對應的自適應聲學模型，得到與所述目標說話人對應的第一聲學特征，之前包括：

獲取目標說話人對應的第一語音樣本；

應用所述第一語音樣本對預設的基礎聲學模型進行校正，得到所述與目標說話人對應的自適應聲學模型。

在其中一個實施例中，所述第一語音樣本的語言包括第一目標語言或第二目標語言，所述與所述目標說話人和所述第一文本信息對應的語音的語言包括所述第一目標語言和/或所述第二目標語言；所述第一目標語言與所述第二目標語言為不同語種的語言。