[發明專利]語音合成的多任務模型訓練方法及相關設備

有效

• 申請號: 202010839731.0
• 申請日: 2020-08-19
• 公開（公告）號: CN111951780B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 賀天威;周鴻斌;戴長軍;黃杰雄
• 申請（專利權）人: 廣州華多網絡科技有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 劉延喜

本申請涉及語音合成技術領域，提供了一種語音合成的多任務模型訓練方法及相關設備，該方法包括：設定至少兩個序列標注任務，以處理語音合成中的文本分析；根據序列標注任務構建包括多任務輸出層的多任務模型，將多任務輸出層配置為將目標文本信息作為各項序列標注任務獨立的輸入并輸出各項序列標注任務對應的標簽序列；獲取樣本信息，樣本信息包括訓練文本信息，以及訓練文本信息與各項序列標注任務對應的訓練標簽序列；采用樣本信息對多任務模型進行訓練，得到語音合成前端處理的多任務模型。本申請將各項序列標注任務整合在同一多任務模型中，有利于簡化模型的訓練流程。

技術領域

本申請涉及語音合成技術領域，具體而言，本申請涉及一種語音合成的多任務模型訓練方法及相關設備。

背景技術

隨著計算機技術的發展，語音合成技術越來越受到人們的重視，語音合成作為人機交互過程中重要的一環，實現了將文本信息轉換為語音信號進行播放。語音合成一般分為前端和后端兩個模塊，后端模塊包括聲學模型和聲碼器，前端模塊負責對文本信息進行分析，提取后端模塊所需要的相關信息。因此，前端處理的結果對語音合成有著重要的影響。

語音合成的前端處理中包括多個序列標注任務的執行，現有技術中，關于該多個序列標注任務一般采用流水線式級聯結構的模型或端到端模型來完成。采用流水線式級聯結構的模型時，將上一個模塊的輸出作為下一個模塊的輸入，如對文本信息進行分析的順序包括語言檢測、長句切分、文本正則化時，處理語言檢測模塊的輸出將作為處理長句切分模塊的輸入，進而將處理長句切分模塊的輸入作為處理文本正則化模塊的輸入，這樣的模型需要對每個模塊都進行單獨訓練，在模型訓練時流程較為繁瑣，耗費較多的時間，在模型部署時會占用較大的內存，且由于上一個模塊的偏差可能影響下一個模塊的運算，帶來誤差積累的問題，導致訓練出來的模型在進行文本信息分析時所輸出結果的準確度較低。采用端到端模型時，雖然降低了模型構建的復雜度，但是無法了解到每一個模塊的貢獻，降低了網絡的可解釋性，應用在語義合成的前端處理時，難以保證進行文本信息分析時所輸出結果的準確度。

發明內容

本申請提供了一種語音合成的多任務模型訓練方法、裝置、電子設備及存儲介質，可以解決上述至少一種技術問題。所述技術方案如下：

第一方面，提供了一種語音合成的多任務模型訓練方法，包括：設定至少兩個序列標注任務，以處理語音合成中的文本分析；根據所述序列標注任務構建包括多任務輸出層的多任務模型，將所述多任務輸出層配置為將目標文本信息作為各項序列標注任務獨立的輸入并輸出各項序列標注任務對應的標簽序列；獲取樣本信息，所述樣本信息包括訓練文本信息，以及所述訓練文本信息與各項序列標注任務對應的訓練標簽序列；采用所述樣本信息對所述多任務模型進行訓練，得到語音合成前端處理的多任務模型。

結合第一方面，在第一方面的第一種實施方式中，所述多任務模型還包括共享層，所述共享層配置為將待處理的文本信息作為預訓練任務的輸入并輸出對應的語義特征信息；所述語義特征信息為所述目標文本信息。

結合第一方面的第一種實施方式，在第一方面的第二種實施方式中，所述樣本信息包括所述訓練文本信息對應的語義特征信息；所述采用所述樣本信息對所述多任務模型進行訓練，包括：采用所述訓練文本信息以及對應的語義特征信息訓練所述多任務模型執行預訓練任務；針對每一序列標注任務進行分時交替訓練，包括：根據所述訓練文本信息對應的語義特征信息以及與該序列標注任務對應的訓練標簽序列訓練所述多任務模型執行該序列標注任務；采用交叉熵損失函數計算所述多任務模型在執行該序列標注任務時的損失值；根據各項序列標注任務的預設權重系數，計算所述多任務模型的總損失值；

采用所述總損失值訓練所述多任務模型執行各項序列標注任務。

結合第一方面的第二種實施方式，在第一方面的第三種實施方式中，各項序列標注任務的預設權重系數相同。

結合第一方面，在第一方面的第四種實施方式中，所述獲取樣本信息包括：獲取訓練文本信息；針對每一序列標注任務，設定所述訓練文本信息與該序列標注任務對應的訓練標簽序列。