[發明專利]多風格音頻合成方法、裝置、設備及存儲介質

在審

• 申請號: 202011385987.5
• 申請日: 2020-12-02
• 公開（公告）號: CN112562634A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 梁爽;陳閩川;馬駿;王少軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/04;G10L25/03;G10L25/18;G10L25/30
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

1.一種多風格音頻合成方法，其特征在于，所述多風格音頻合成方法包括：

獲取待處理的文本數據和單風格的第一梅爾譜；

將所述第一梅爾譜輸入預置風格提取網絡進行特征提取，得到第一風格特征；

將所述文本數據輸入預置梅爾譜生成網絡中的編碼器進行特征提取以及將提取到的第一文本特征與所述第一風格特征進行拼接，得到第一融合特征；

將所述第一融合特征輸入預置梅爾譜生成網絡中的解碼器進行特征轉換，得到第二梅爾譜；

將所述第二梅爾譜輸入預置聲碼器進行音頻生成，得到多風格音頻。

2.根據權利要求1所述的多風格音頻合成方法，其特征在于，所述風格提取網絡采用的第一訓練模型包括：三層CNN網絡、VIB網絡、GRU網絡、線性層和歸一化層，在所述獲取待處理的文本數據和單風格的第一梅爾譜之前，還包括：

獲取多種單風格的梅爾譜樣本；

將所述梅爾譜樣本輸入所述三層CNN網絡進行特征提取，得到第一特征向量；

將所述第一特征向量輸入所述VIB網絡進行特征分解，得到第一分解向量；

將所述第一分解向量輸入所述GRU網絡進行風格提取，得到第一風格特征向量；

將所述第一風格特征向量輸入所述線性層進行線性運算，得到第一風格輸出向量；

將所述第一風格輸出向量輸入所述歸一化層進行歸一化處理，得到第二風格特征；

根據所述第二風格特征，調用預置損失函數對所述第一訓練模型進行優化，直至所述第一訓練模型收斂，得到所述風格提取網絡。

3.根據權利要求1所述的多風格音頻合成方法，其特征在于，所述梅爾譜生成網絡采用的第二訓練模型包括：編碼器和解碼器，其中，所述編碼器依次由嵌入層、卷積神經網絡和LTSM網絡構成，所述解碼器依次由Pre-net網絡、RNN網絡和兩層殘差GRU網絡構成，在所述獲取待處理的文本數據和單風格的第一梅爾譜之前，還包括：

獲取多個文本數據樣本和多種風格特征樣本；

將所述文本數據樣本輸入所述嵌入層進行向量轉換，得到第一文本初始向量；

將所述第一文本初始向量輸入所述卷積神經網絡進行特征提取，得到第一文本特征向量；

將所述第一文本特征向量輸入所述LTSM網絡進行文本轉換，得到第二文本特征；

拼接所述第二文本特征和所述風格特征樣本，得到第二融合特征；

將所述第二融合特征輸入所述Pre-net網絡進行非線性變換，得到第一融合序列；

將所述第一融合序列輸入所述RNN網絡進行函數運算，得到第一聲譜圖；

將所述第一聲譜圖輸入所述兩層殘差GRU網絡進行殘差運算，得到第三梅爾譜；

根據所述第三梅爾譜，調用預置優化函數對所述第二訓練模型進行參數優化，直至所述第二訓練模型收斂，得到所述梅爾譜生成網絡。

4.根據權利要求2所述的多風格音頻合成方法，其特征在于，所述將所述第一梅爾譜輸入預置風格提取網絡進行特征提取，得到第一風格特征包括：

將所述第一梅爾譜輸入所述三層CNN網絡進行特征提取，得到第二特征向量；

將所述第二特征向量輸入所述VIB網絡進行特征分解，得到第二分解向量；

將所述第二分解向量輸入所述GRU網絡進行風格提取，得到第二風格特征向量；

將所述第二風格特征向量輸入所述線性層進行線性運算，得到第二風格輸出向量；

將所述第二風格輸出向量輸入所述歸一化層進行歸一化處理，得到所述第一風格特征。

5.根據權利要求3所述的多風格音頻合成方法，其特征在于，所述將所述文本數據輸入預置梅爾譜生成網絡中的編碼器進行特征提取以及將提取到的第一文本特征與所述第一風格特征進行拼接，得到第一融合特征包括：

將所述文本數據輸入所述嵌入層進行向量轉換，得到第二文本初始向量；

將所述第二文本初始向量輸入所述卷積神經網絡進行特征提取，得到第二文本特征向量；

將所述第二文本特征向量輸入所述LTSM網絡進行文本轉換，得到第一文本特征；

拼接所述第一風格特征與所述第一文本特征，得到所述第一融合特征。