[發明專利]一種語音合成方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202110602393.3
• 申請日: 2021-05-31
• 公開（公告）號: CN113327574A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 康世胤;劉峰;陀得意;游于人;王潔;吳志勇
• 申請（專利權）人: 廣州虎牙科技有限公司;清華大學深圳國際研究生院
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L25/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種語音合成方法，其特征在于，包括：

確定待合成語音的文本信息、說出所述文本信息的說話者及風格；

從所述文本信息提取表征語言學的特征，作為語言信息；

確定DurIAN網絡為聲學模型、HiFi-GAN網絡為聲碼器；

將所述語言信息輸入作為聲學模型的所述DurIAN網絡中、轉換為符合所述說話者在所述風格下說所述文本信息時的頻譜特征；

將所述頻譜特征輸入作為聲碼器的所述HiFi-GAN網絡中、轉換為符合所述說話者在所述風格下說所述文本信息時的語音信號。

2.根據權利要求1所述的方法，其特征在于，所述語言信息包括音素、分類標記、韻律標記；

所述從所述文本信息提取表征語言學的特征，作為語言信息，包括：

確定字典，所述字典記載文字與音素、音調與音素、標點符號與分類標記之間的映射關系；

識別所述文本信息中的文字、標點符號；

在所述字典中查詢所述文字對應的音素、所述文字的音調對應的音素，將所述文字替換為所述文字對應的音素、所述文字的音調對應的音素；

在所述字典中查詢所述標點符號對應的分類標記，將所述標點符號替換為所述標點符號對應的分類標記；

在所述文本信息中添加表示韻律結構的韻律標記。

3.根據權利要求2所述的方法，其特征在于，所述確定字典，包括：

若多種語言的多種文字的發音相似或相同，則將多種所述文字映射至同一音素；

在字典中記錄多種所述文字與同一所述音素之間的映射關系；

和/或，

查詢各個文字發音的屬性；

若所述發音的屬性為協同發音，則將所述協同發音作為額外的音調、映射至指定的音素；

在所述字典中記錄額外的所述音調與所述音素之間的映射關系。

4.根據權利要求2所述的方法，其特征在于，所述在所述字典中查詢所述文字對應的音素、所述文字的音調對應的音素，包括：

查詢所述文字發音的屬性；

若所述發音的屬性為協同發音，則將所述協同發音作為額外的音調、在所述字典中查詢額外的所述音調對應的音素。

5.根據權利要求1-4中任一項所述的方法，其特征在于，所述DurIAN網絡包括時間預測網絡、頻譜預測網絡；

所述確定DurIAN網絡為聲學模型、HiFi-GAN網絡為聲碼器，包括：

獲取說話者在指定風格下說話時記錄的音頻信號、表達所述音頻信號內容的文本信息、由所述音頻信號轉換的頻譜特征；

從所述文本信息提取表征語言學的信息，作為語言信息；

以所述語言信息、所述說話者的風格作為樣本、所述音頻信號的時長作為標簽，訓練所述時間預測網絡；

若完成訓練所述時間預測網絡，則以所述語言信息、所述說話者的風格作為樣本，所述頻譜特征作為標簽，訓練所述頻譜預測網絡；

若完成訓練所述頻譜預測網絡，則將所述時間預測網絡、所述頻譜預測網絡設置為聲學模型；

以所述頻譜特征作為樣本、所述音頻信號作為標簽，訓練所述HiFi-GAN網絡；

若完成訓練所述HiFi-GAN網絡，則將所述HiFi-GAN網絡設置為聲碼器。

6.根據權利要求5所述的方法，其特征在于，所述說話者包括多個第一說話者、一個或多個第二說話者；

所述獲取說話者在指定風格下說話時記錄的音頻信號、表達所述音頻信號內容的文本信息、由所述音頻信號轉換的頻譜特征，包括：

從預設的語料庫中提取所述第一說話者在指定風格下說話時記錄的音頻信號、表達所述音頻信號內容的文本信息；

將所述第一說話者對應的所述音頻信號轉換為頻譜特征；

錄制所述第二說話者說話時記錄的、指定數量的音頻信號，所述數量小于或等于預設的閾值；

對所述音頻信號標記所述第二說話者的風格；

生成所述音頻信號內容的文本信息；

將所述第二說話者對應的所述音頻信號轉換為頻譜特征。