[發明專利]語音處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010090433.6
• 申請日: 2020-02-13
• 公開（公告）號: CN111326136B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 林炳懷;王麗園;鄧錦
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/04;G10L13/047;G10L13/10;G10L25/03
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李娟

1.一種語音處理方法，其特征在于，包括：

將待處理語音轉換為韻律學嵌入向量；

將所述韻律學嵌入向量分解為預設數量個基礎嵌入GST，并根據所述預設數量個GST獲得表征語音韻律特征的風格嵌入向量；

根據所述風格嵌入向量獲得所述待處理語音對應的分類結果；

其中，所述分類結果包括至少一個，各個分類結果對應于不同的分類任務，針對每一個分類任務：

基于分類任務對應的分類器，根據所述風格嵌入向量獲得所述待處理語音對應的分類結果，其中，所述分類器是基于所述分類任務對應的分類訓練數據集對分類器進行訓練獲得的，所述分類訓練數據集中的每個訓練數據包括所述分類任務所屬領域的一個語音數據和語音數據對應的分類標簽。

2.根據權利要求1所述的方法，其特征在于，

基于已訓練的韻律學編碼器，將待處理語音轉換為韻律學嵌入向量；

基于已訓練的第一注意力模塊，將所述韻律學嵌入向量分解為預設數量個基礎嵌入GST，并根據所述預設數量個GST獲得表征語音韻律特征的風格嵌入向量，其中：

所述已訓練的韻律學編碼器和所述已訓練的第一注意力模塊，是基于語音訓練數據集訓練語音合成模型而獲得的，其中，所述語音訓練數據集中包括多種分類任務的語音訓練數據，每個語音訓練數據包括一個訓練語音和訓練語音對應的文本，初始語音合成模型包括韻律學編碼器、音特征提取模塊、向量拼接模塊、第一注意力模塊、文本編碼器、第二注意力模塊和解碼器。

3.根據權利要求1所述的方法，其特征在于，所述分類結果包括至少一個，各個分類結果對應于不同的分類任務，針對每一個分類任務：

基于分類任務對應的已訓練的韻律學編碼器，將待處理語音轉換為韻律學嵌入向量；

基于所述分類任務對應的已訓練的第一注意力模塊，將所述韻律學嵌入向量分解為預設數量個基礎嵌入GST，并根據所述預設數量個GST獲得表征語音韻律特征的風格嵌入向量，其中：

所述已訓練的韻律學編碼器和所述已訓練的第一注意力模塊，是基于所述分類任務對應的領域訓練數據集訓練通用語音合成模型而獲得的，其中，所述領域訓練數據集中的每個訓練數據包括分類任務所屬領域的一個專用訓練語音和專用訓練語音對應的文本；

所述通用語音合成模型是基于通用訓練數據集訓練初始語音合成模型而獲得的，其中，所述通用訓練數據集中包括多種分類任務的訓練數據，每個訓練數據包括一個通用訓練語音和通用訓練語音對應的文本，所述初始語音合成模型包括韻律學編碼器、音特征提取模塊、向量拼接模塊、第一注意力模塊、文本編碼器、第二注意力模塊和解碼器。

4.根據權利要求3所述的方法，其特征在于，所述基于分類任務對應的領域訓練數據集訓練通用語音合成模型的過程中，調整的參數包括：所述通用語音合成模型中的第一注意力模塊的參數。

5.根據權利要求1所述的方法，其特征在于，所述基于所述分類任務對應的分類訓練數據集對分類器進行訓練，具體包括：

基于已訓練的韻律學編碼器將所述分類訓練數據集中的各個語音數據轉換為對應的韻律學嵌入向量；

基于已訓練的第一注意力模塊將每個語音數據對應的韻律學嵌入向量分解為預設數量個基礎嵌入GST，并對所述預設數量個GST進行加權，獲得每個語音數據對應的風格嵌入向量；

基于所述分類訓練數據集中各個語音數據對應的風格嵌入向量和分類標簽，訓練所述分類器。