[發明專利]語音合成模型訓練方法、裝置、電子設備和計算機可讀存儲介質

在審

• 申請號: 202110069951.4
• 申請日: 2021-01-19
• 公開（公告）號: CN114863908A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 高羽
• 申請（專利權）人: 美的集團(上海)有限公司;美的集團股份有限公司
• 主分類號: G10L13/04
• 分類號: G10L13/04;G10L13/02;G10L13/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 李莎

1.一種語音合成模型訓練方法，其特征在于，包括：

獲得待輸出文本信息和家居場景對應的訓練風格嵌入信息；其中，所述訓練風格嵌入信息表征與所述家居場景對應的場景聲學風格；

根據所述待輸出文本信息和訓練風格嵌入信息得到與所述家居場景對應的待合成聲音預測特征；

對所述待合成聲音預測特征進行合成，獲得待輸出語音數據。

2.根據權利要求1所述的語音合成模型訓練方法，其特征在于，所述家居場景對應的訓練風格嵌入信息通過以下步驟獲得：

獲得所述家居場景在嘈雜聲學環境下的聲學特征；

將所述家居場景在所述嘈雜聲學環境下的聲學特征輸入場景聲學風格提取器，獲得所述家居場景對應的訓練風格嵌入信息。

3.根據權利要求2所述的語音合成模型訓練方法，其特征在于，還包括：

獲得所述家居場景的環境聲學特征；

將所述家居場景的所述環境聲學特征輸入第一場景分類模型，獲得所述家居場景對應的場景類型信息；

將所述場景類型信息輸入所述場景聲學風格提取器進行融合。

4.根據權利要求3所述的語音合成模型訓練方法，其特征在于，當所述第一場景分類模型為VGG16網絡時，所述場景類型信息為作為所述VGG16網絡輸出的Softmax概率值對應的第一場景類型權重。

5.根據權利要求3所述的語音合成模型訓練方法，其特征在于，當所述第一場景分類模型為ResNet網絡時，所述場景類型信息為作為所述ResNet網絡輸出的標簽值對應的第二場景類型權重。

6.根據權利要求2所述的語音合成模型訓練方法，其特征在于，還包括：

將所述家居場景在嘈雜聲學環境下的聲學特征輸入第二場景分類模型，獲得所述家居場景對應的場景類型指示信息；

根據所述場景類型指示信息對所述場景聲學風格提取器進行訓練反饋。

7.根據權利要求1所述的語音合成模型訓練方法，其特征在于，所述根據所述待輸出文本信息和訓練風格嵌入信息得到與所述家居場景對應的待合成聲音預測特征的步驟，包括：

將所述待輸出文本信息和訓練風格嵌入信息作為聲學特征預測網絡的輸入，獲得與所述家居場景對應的待合成聲音預測特征。

8.一種語音合成模型訓練裝置，其特征在于，包括：

信息獲得模塊，用于獲得待輸出文本信息和家居場景對應的訓練風格嵌入信息，根據所述待輸出文本信息和訓練風格嵌入信息得到與所述家居場景對應的待合成聲音預測特征；其中，所述訓練風格嵌入信息表征與所述家居場景對應的場景聲學風格；

待輸出語音數據合成模塊，用于對所述待合成聲音預測特征進行合成，獲得待輸出語音數據。

9.一種電子設備，其特征在于，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現權利要求1至7任一項所述的語音合成模型訓練方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括計算機程序，所述計算機程序運行時控制所述計算機可讀存儲介質所在電子設備執行權利要求1至7任一項所述的語音合成模型訓練方法。