[發明專利]基于人工智能的音頻編解碼

在審

• 申請號: 202080061632.2
• 申請日: 2020-06-29
• 公開（公告）號: CN114341977A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: Z.I.斯科迪利斯;V.拉詹德蘭;G.K.索蒂爾;D.J.辛德
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G10L19/12
• 分類號: G10L19/12;G10L19/13;G10L19/09;G10L19/06;G10L25/30
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 安之斐

描述了用于編解碼音頻信號的技術。例如，使用神經網絡，基于神經網絡的輸入生成音頻信號的樣本的殘差信號。殘差信號被配置為激勵長期預測濾波器和/或短期預測濾波器。使用長期預測濾波器和/或短期預測濾波器，確定重構音頻信號的樣本。基于使用神經網絡為音頻信號的樣本生成的殘差信號來確定重構音頻信號的樣本。

技術領域

該申請與語音編解碼有關。例如，描述了用于執行基于人工智能的語音編解碼的系統和方法。

背景技術

語音編解碼(也稱為音頻編解碼和/或話音編解碼)是一種用于使用盡可能少的比特來表示數字化音頻信號(從而壓縮語音數據)，同時試圖保持一定水平的音頻質量的技術。語音編碼器用于將數字化音頻(例如，語音、音樂等)信號編碼(或壓縮)為較低比特率的數據流。較低比特率的數據流可以被輸入到語音解碼器，語音解碼器解碼數據流并構造原始信號的近似或重構。語音編碼器-解碼器結構可稱為語音編解碼器(或語音編解碼器或音頻編解碼器)或語音/話音/音頻編碼器-解碼器(codec)。

語音編解碼器利用語音信號是高度相關的波形這一事實。一些語音編解碼技術是基于話音產生的源-濾波器模型，該模型假定聲帶是頻譜平坦的聲音(激勵信號)的源，而聲道充當濾波器，對話音的各種聲音進行頻譜整形。不同的音素(如元音、摩擦音和語音摩擦音)可以通過它們的激發(源)和頻譜形狀(濾波器)來區分。

發明內容

本文描述了用于提供基于人工智能的音頻編解碼器(例如，語音編解碼器、音樂編解碼器或其他類型的音頻編解碼器)的技術和系統。在一些示例中，音頻解碼器可以利用神經網絡模型來解碼音頻信號的某些部分。音頻信號的示例包括話音或語音信號、音樂信號和/或其他聲音信號。雖然本文描述的一些示例使用話音或聲音信號作為示例，但是本文描述的技術可以用于任何類型的音頻信號。

在一些實施方式中，語音編解碼器可以包括碼激勵線性預測(CELP)編解碼器或代數-CELP(ACELP)編解碼器。CELP模型基于語音產生的源濾波器模型，其使用線性預測(LP)模型對聲道建模，并將固定碼本(FCB)的條目作為LP模型的輸入。例如，可以使用長期線性預測來對語音信號的音調(pitch)進行建模，并且可以使用短期線性預測來對語音信號的頻譜形狀(音素)進行建模。FCB中的條目基于在執行長期和短期線性預測建模之后剩余的殘差信號的編解碼。基于CELP的編解碼器中最需要比特的階段是FCB，它基于殘差信號的強力編解碼，而不試圖對該信號建模。

本文描述的技術和系統包括用人工智能模型(例如神經網絡模型)替換傳統語音解碼器的FCB。例如，可以訓練神經網絡模型以充當殘差信號的模型，該殘差信號包括長期和短期線性預測模型未捕獲的話音分量。在這樣的示例中，神經網絡模型的輸出包括可用于激勵長期線性預測模型或短期線性預測模型的殘差信號。使用殘差信號，可以通過長期和短期線性預測模型重構語音信號。

在某些情況下，通過利用語音解碼器中的神經網絡對殘差信號建模，提供了適用于具有低比特率、復雜度和/或存儲器限制的應用和/或設備的語音編解碼器。例如，與傳統語音編解碼中的FCB相比，神經網絡模型需要的殘差編解碼比特數要少得多。

本文還提供了用于改進語音編解碼的其他技術。

根據至少一個示例，提供了一種重構一個或多個音頻信號的方法。該方法包括使用神經網絡，基于對神經網絡的一個或多個輸入，生成音頻信號的至少一個樣本的殘差信號。殘差信號被配置為激勵長期預測濾波器和短期預測濾波器中的至少一個。該方法還包括使用長期預測濾波器和短期預測濾波器中的至少一個來確定重構音頻信號的至少一個樣本。基于使用神經網絡為音頻信號的至少一個樣本生成的殘差信號來確定重構音頻信號的至少一個樣本。