[發明專利]語音處理方法和裝置以及聲碼器和聲碼器的訓練方法

在審

• 申請號: 202110794822.1
• 申請日: 2021-07-14
• 公開（公告）號: CN113470616A
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 張旭;張新;李楠;鄭羲光;張晨
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G10L13/04
• 分類號: G10L13/04;G10L25/03;G10L25/30
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 劉超;蘇銀虹

1.一種語音處理方法，其特征在于，所述語音處理方法包括：

對高采樣率梅爾譜特征進行下采樣來獲取低采樣率梅爾譜特征；

基于低采樣率梅爾譜特征利用聲碼器的第一神經網絡來獲得低時域信號；

通過對低時域信號進行上采樣來獲得高時域信號；

基于高采樣率梅爾譜特征和高時域信號利用聲碼器的第二神經網絡來獲得與高采樣率梅爾譜特征相應的語音信號。

2.根據權利要求1所述的語音處理方法，其特征在于，基于低采樣率梅爾譜特征利用聲碼器的第一神經網絡來獲得低時域信號的步驟包括：

針對低時域信號的每個采樣點執行以下操作：

基于與低采樣率梅爾譜特征相應的幅度譜計算低時域信號的當前采樣點的第一估計值；

基于低采樣率梅爾譜特征經由第一神經網絡的第一編碼器的運算來獲得第一嵌入向量；

基于第一嵌入向量、第一估計值和針對第一神經網絡的第一解碼器在前一時刻的采樣點誤差經由第一解碼器的運算來獲得低時域信號的當前采樣點。

3.根據權利要求1所述的語音處理方法，其特征在于，基于高采樣率梅爾譜特征和高時域信號利用聲碼器的第二神經網絡來獲得與高采樣率梅爾譜特征相應的語音信號的步驟包括：

針對所述語音信號的每個采樣點執行以下操作：

基于與高采樣率梅爾譜特征相應的幅度譜計算所述語音信號的當前采樣點的第二估計值；

基于高采樣率梅爾譜特征經由第二神經網絡的第二編碼器的運算來獲得第二嵌入向量；

基于第二嵌入向量、高時域信號的當前采樣點、第二估計值、針對高時域信號的前一時刻的采樣點誤差、針對第二神經網絡的第二解碼器在前一時刻的采樣點誤差和第二解碼器在前一時刻輸出的采樣點經由第二解碼器的運算來獲得所述語音信號的當前采樣點。

4.根據權利要求1所述的語音處理方法，其特征在于，高采樣率梅爾譜特征是通過對輸入的文字執行梅爾譜預測得到的。

5.一種聲碼器的訓練方法，其特征在于，所述訓練方法包括：

獲取樣本集，其中，所述樣本集包括高采樣率時域信號、低采樣率時域信號、低頻域特征和高頻域特征，其中，所述低采樣率時域信號是對所述高采樣率時域信號進行下采樣獲得的，低頻域特征是所述低采樣率時域信號的梅爾譜特征，高頻域特征是所述高采樣率時域信號的梅爾譜特征；

基于低頻域特征利用聲碼器的第一神經網絡來獲得低時域信號；

通過對低時域信號進行上采樣來獲得高時域信號；

基于高頻域特征和高時域信號利用聲碼器的第二神經網絡來獲得合成信號；

利用低時域信號、所述低采樣率時域信號、所述合成信號和所述高采樣率時域信號來構建損失函數；

基于由所述損失函數計算的損失來訓練所述聲碼器的參數。

6.根據權利要求5所述的訓練方法，其特征在于，利用低時域信號、所述低采樣率時域信號、所述合成信號和所述高采樣率時域信號來構建損失函數的步驟包括：

利用低時域信號和所述低采樣率時域信號來構建第一交叉熵損失函數；

利用所述合成信號和所述高采樣率時域信號來構建第二交叉熵損失函數；

由第一交叉熵損失函數和第二交叉熵損失函數來構成所述損失函數。

7.一種語音處理裝置，其特征在于，所述語音處理裝置包括：

獲取模塊，被配置為對高采樣率梅爾譜特征進行下采樣來獲取低采樣率梅爾譜特征；以及

處理模塊，被配置為：

基于低采樣率梅爾譜特征利用聲碼器的第一神經網絡來獲得低時域信號；

通過對低時域信號進行上采樣來獲得高時域信號；

基于高采樣率梅爾譜特征和高時域信號利用聲碼器的第二神經網絡來獲得與高采樣率梅爾譜特征相應的語音信號。