[發明專利]歌唱語音合成方法及合成設備、計算機存儲介質

在審

• 申請號: 202011627562.0
• 申請日: 2020-12-31
• 公開（公告）號: CN112767914A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 殷鋒;胡亞軍
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10H1/00
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 李申

本申請公開了一種歌唱語音合成方法及合成設備、計算機存儲介質，該合成方法包括：獲取樂譜信息；對樂譜信息進行特征提取，以獲得樂譜特征；對樂譜特征進行基頻特征預測，以獲得基頻特征；結合基頻特征對樂譜特征進行聲學特征預測，以獲得聲學特征；根據聲學特征得到合成后的歌唱語音數據。本申請所提供的合成方法能夠提高歌唱語音合成的準確性以及自然度。

技術領域

本申請涉及語音合成技術領域，特別是涉及一種歌唱語音合成方法及合成設備、計算機存儲介質。

背景技術

語音合成(Text To Speech，TTS)是一種將文字轉換為語音的技術，近年來由于深度學習等工具的發展，取得了較大進步并被廣泛應用，從而導致歌唱語音合成(SingingVoice Synthesis，SVS)隨之受到更多關注，并逐漸成為虛擬偶像、語音助手以及諸多智能設備重要的功能之一。同時，歌唱語音合成很容易與其他人工智能技術結合，比如機器作曲、自動填詞等，形成廣闊的應用空間。隨著多模態技術的進步，人工智能歌手越來越得到大眾的歡迎。

基于計算機的歌唱語音合成研究始于1950年代，傳統的歌唱語音合成方法包括單元拼接和統計參數合成方法。目前一些廣泛流行的歌唱語音合成方法仍然采用了有上下文依賴的隱馬爾可夫模型，但是這些模型面臨較嚴重的過平滑效應，且對于統計參數的建模能力有限，因此生成的歌唱語音在音色和自然度上相比真實歌唱效果大大折扣。

發明內容

本申請主要解決的技術問題是提供一種歌唱語音合成方法及合成設備、計算機存儲介質，能夠提高歌唱語音合成的準確性以及自然度。

為解決上述技術問題，本申請采用的一個技術方案是：提供一種歌唱語音合成方法，所述方法包括：獲取樂譜信息；對所述樂譜信息進行特征提取，以獲得樂譜特征；對所述樂譜特征進行基頻特征預測，以獲得基頻特征；結合所述基頻特征對所述樂譜特征進行聲學特征預測，以獲得聲學特征；根據所述聲學特征得到合成后的歌唱語音數據。

為解決上述技術問題，本申請采用的另一個技術方案是：提供一種歌唱語音合成設備，所述歌唱語音合成設備包括處理器、存儲器以及通信電路，所述處理器分別耦接所述存儲器、所述通信電路，所述存儲器中存儲有程序數據，所述處理器通過執行所述存儲器內的所述程序數據以實現上述方法中的步驟。

為解決上述技術問題，本申請采用的另一個技術方案是：提供一種計算機存儲介質，所述計算機存儲介質存儲有計算機程序，所述計算機程序能夠被處理器執行以實現上述方法中的步驟。

本申請的有益效果是：本申請的歌唱語音合成方法首先對樂譜特征進行預測得到基頻特征，然后結合基頻特征對樂譜特征進行預測得到聲學特征，最后根據聲學特征得到歌唱語音數據，其中在預測聲學特征時，結合了基頻特征對樂譜特征進行預測，能夠保證最終合成的歌唱語音數據的準確率和自然度。

附圖說明

為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。其中：

圖1是本申請歌唱語音合成方法一實施方式的流程示意圖；

圖2是一應用場景中對應圖1的框架流程圖；

圖3是圖2中基頻模型的框架示意圖；

圖4是圖2中聲學模型的框架示意圖；

圖5是圖2中基頻模型和聲學模型的訓練過程的流程示意圖；

圖6是本申請歌唱合成設備一實施方式的結構示意圖；

圖7是本申請計算機存儲介質一實施方式的結構示意圖。

具體實施方式