[發明專利]歌聲合成方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201910345012.0
• 申請日: 2019-04-26
• 公開（公告）號: CN110148394A
• 公開（公告）日: 2019-08-20
• 發明（設計）人: 王健宗;曾振;羅劍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10H1/00
• 分類號: G10H1/00
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 黃章輝

1.一種歌聲合成方法，其特征在于，包括：

獲取待合成樂譜，對所述待合成樂譜進行樂譜特征提取，獲取待合成樂譜特征，所述待合成樂譜特征包括待合成音節和對應的第一時間標簽；

按照所述第一時間標簽的順序，將所述待合成樂譜特征輸入到目標時間模型中進行識別，獲取每一所述待合成音節對應的識別時間信息；

將所述待合成樂譜特征和所述待合成音節對應的識別時間信息輸入到目標基頻模型中進行識別，獲取每一所述待合成音節對應的至少一幀識別基頻特征；

將所述待合成樂譜特征、每一所述待合成音節對應的識別時間信息和每一所述待合成音節對應的識別基頻特征輸入到目標音色模型中進行識別，獲取所述待合成音節對應的至少一幀識別音色特征；

采用語音處理工具對所述識別基頻特征和所述識別音色特征進行逐幀合成處理，獲取目標音頻。

2.如權利要求1所述歌聲合成方法，其特征在于，所述對所述待合成樂譜進行樂譜特征提取，獲取待合成樂譜特征，包括：

采用文件解析方法對所述待合成樂譜進行解析，獲取與所述待合成樂譜相對應的音符信息；

采用預設編碼規則對所述音符信息進行編碼，獲取每一音符信息相對應的待合成樂譜特征。

3.如權利要求1所述歌聲合成方法，其特征在于，在所述獲取待合成樂譜之前，所述歌聲合成方法還包括：

獲取電子樂譜和預先標記的所述電子樂譜中每一訓練音節對應的標注時間信息；

對所述電子樂譜進行樂譜特征提取，獲取訓練樂譜特征，所述訓練樂譜特征包括訓練音節和對應的第二時間標簽；

按照所述第二時間標簽的順序，將所述訓練音節和對應的標注時間信息輸入到因果卷積神經網絡中進行訓練，獲取原始時間模型；

對所述原始時間模型進行測試，獲取第一測試結果，若所述第一測試結果大于第一閾值，則獲取所述目標時間模型。

4.如權利要求3所述歌聲合成方法，其特征在于，所述歌聲合成方法還包括：所述因果卷積神經網絡包括輸入層、隱藏層和輸出層，所述隱藏層包括預設擴張系數，所述輸出層包括殘差塊。

5.如權利要求3所述歌聲合成方法，其特征在于，在所述獲取電子樂譜和預先標記的所述電子樂譜中每一訓練音節對應的標注時間信息之后，所述歌聲合成方法還包括：

獲取與所述電子樂譜相對應的原始音頻信息；

基于每一所述訓練音節對應的標注時間信息對所述原始音頻信息進行截取，獲取每一訓練音節相對應的第一音頻信息；

對所述第一音頻信息進行降噪處理，獲取第二音頻信息；

對所述第二音頻信息進行預加重和分幀處理，獲取每一所述訓練音節對應的至少一幀目標音頻信息；

采用語音處理工具對每一所述訓練音節對應的至少一幀目標音頻信息進行特征提取，獲取每一所述訓練音節對應的標準基頻特征；

按照所述第二時間標簽的順序，將所述訓練樂譜特征、每一所述訓練音節對應的標注時間信息和每一所述訓練音節對應的所述標準基頻特征輸入到所述因果卷積神經網絡中進行訓練，獲取原始基頻模型；

對所述原始基頻模型進行測試，獲取第二測試結果，若所述第二測試結果大于第二閾值，則獲取目標基頻模型。

6.如權利要求5所述歌聲合成方法，其特征在于，在所述獲取每一所述訓練音節對應的至少一幀目標音頻信息之后，所述歌聲合成方法還包括：

采用語音處理工具對每一所述訓練音節對應的至少一幀目標音頻信息進行特征提取，獲取每一訓練音節對應的標準音色特征；

按照所述第二時間標簽的順序，將所述訓練樂譜特征、每一所述訓練音節對應的識別時間信息、每一所述訓練音節對應的所述基頻特征和每一所述訓練音節對應的標準音色特征輸入到所述因果卷積神經網絡中進行訓練，獲取原始音色模型；

對所述原始音色模型進行測試，獲取第三測試結果，若所述第三測試結果大于第三閾值，則獲取目標音色模型。