[發明專利]用于混合語音合成的方法、設備及系統

在審

• 申請號: 201980087069.3
• 申請日: 2019-12-20
• 公開（公告）號: CN113287167A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: A·穆斯塔法;A·比斯瓦斯
• 申請（專利權）人: 杜比國際公司
• 主分類號: G10L19/08
• 分類號: G10L19/08;G06N3/02
• 代理公司: 北京律盟知識產權代理有限責任公司 11287
• 代理人: 劉鋒

一種對原始語音信號進行解碼以用于混合對抗參數語音合成的方法，所述方法包括：(a)接收通過對原始語音信號應用線性預測編碼分析濾波所估計的經量化原始線性預測編碼參數及所述原始語音信號的殘差的經量化壓縮表示；(b)對所述原始線性預測編碼參數及所述殘差的所述壓縮表示進行去量化；(c)將所述殘差的所述經去量化壓縮表示輸入到生成器的解碼器部分，以應用從壓縮殘差域到偽(第一)信號域的對抗映射；(d)由所述生成器的所述解碼器部分輸出偽語音信號；(e)對所述偽語音信號應用線性預測編碼分析濾波以獲得對應的偽殘差；(f)通過對所述偽殘差及所述經去量化原始線性預測編碼分析參數應用線性預測編碼交叉合成濾波來重建所述原始語音信號。

相關申請案的交叉引用

本申請案要求以下優先權申請案的優先權：2019年1月3日申請的第62/787,831號美國臨時申請案(參考：D18127USP1)及2019年1月3日申請的第19150154.3號EP申請案(參考：D18127EP)，它們在此以引用的方式并入。

技術領域

本公開大體上涉及對原始語音信號進行編碼及對原始語音信號進行解碼以用于混合對抗參數語音合成的方法、設備及系統，且更明確來說，涉及通過實施在生成式對抗網絡設置中訓練的生成器并結合線性預測編碼來使用緊湊學習參數表示改進原始語音信號的合成。

雖然本文將特別參考所述公開來描述一些實施例，但應理解，本公開不限于此類使用領域，且適用于更廣泛的上下文。

背景技術

貫穿本公開對背景技術的任何討論決不應被視為承認此類技術是廣為人知的或形成本領域公知常識的部分。

語音是人類發聲系統生成的聲學信號，其以語言及情感信息傳輸說話者的意圖。在數字系統中，語音信號被表示為描述相應語音信號的幅度的時間相依進展的波形。

當語音信號要使用數字通信系統傳輸時出現挑戰。尤其針對具有有限帶寬的通信通道(例如，移動電話網絡)，語音信號波形的有效表示是重要的。可靠的信號表示需要高采樣率。然而，以高采樣率傳輸原始語音信號波形會導致高比特率及功耗，從而違反通道帶寬節省。為了節省通道帶寬，語音信號壓縮能夠傳輸相應語音信號波形的緊湊表示。這些緊湊表示通常足以用于可靠的語音信號波形重建。

在此上下文中，迄今為止使用的一種成功方法是基于模型的語音信號表示，它能夠根據模型參數描述語音信號波形。源濾波器模型是語音建模中眾所周知的方法，它利用聲門激勵信號的創建(源分量)及聲門激勵信號的頻譜成形(濾波器分量)。

語音編解碼器可由兩部分組成：將語音信號分解為其聲門激勵加其頻譜包絡的編碼器及將語音信號再次重建回來的解碼器。在此上下文中，編碼器可執行線性預測編碼分析任務以創建源濾波器模型的相應分量，且解碼器可通過重建語音信號來執行相應線性預測編碼合成任務。

然而，信號壓縮的總體目標是找到緊湊表示，其能夠以較少的數據占用量對語音信號進行編碼，并允許可靠及快速的重建。

最近，生成式對抗網絡(GAN)因其在應用于例如包含條件圖像合成、圖像到圖像轉換、圖像樣式轉變、圖像超分辨率、圖像繪制、文本到圖像合成、視頻生成等任務中時不斷改進可靠性而得到越來越多的關注。在應用于語音增強之后，GAN在語音及音頻信號處理領域也得到越來越多的關注。

例如，L.Juvela、B.Bollepalli、X.Wang、H.Kameoka、M.Airaksinen、J.Yamagishi及P.Alku在他們關于“使用生成式對抗網絡由MFCC序列進行語音波形合成(Speechwaveform synthesis from MFCC sequences with Generative Adversarial Networks)”(IEEE ICASSP，卡爾加里，AB，2018，第5679到5683頁)的出版物中提出一種用于由濾波器組mel頻率倒譜系數(MFCC)進行語音重建的方法。