[發明專利]語音增強方法、裝置、存儲介質及電子設備

有效

• 申請號: 202010773818.2
• 申請日: 2020-08-04
• 公開（公告）號: CN111916095B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 殷翔
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G10L21/02
• 分類號: G10L21/02;G10L19/16;G10L13/04
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹

1.一種語音增強方法，其特征在于，所述方法包括：

獲取待處理的耳語數據；

通過語音增強模型對所述耳語數據進行處理，以得到所述耳語數據對應的聲學特征信息，其中，所述語音增強模型包括編碼子模型和解碼子模型，所述編碼子模型用于對所述耳語進行編碼，獲得目標編碼信息，所述解碼子模型通過逐步單調注意力機制對所述目標編碼信息進行解碼，獲得所述聲學特征信息，所述語音增強模型通過耳語數據和正常語音數據進行訓練獲得；

根據所述聲學特征信息進行語音合成，以得到與所述耳語數據對應的音頻信息；

其中，所述方法還包括：

獲取所述耳語數據對應的演講者基頻信息；

所述根據所述聲學特征信息進行語音合成，以得到與所述耳語數據對應的音頻信息，包括：

根據所述聲學特征信息和所述演講者基頻信息進行語音合成，以得到與所述耳語數據對應的音頻信息。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述耳語數據對應的演講者基頻信息，包括：

通過演講者識別模型對所述耳語數據進行處理，以獲得說出所述耳語數據的演講者的特征信息；

根據所述演講者的特征信息，確定基頻信息數據集中是否存在與所述演講者對應的基頻信息；

若不存在與所述演講者對應的基頻信息，則輸出提示信息，其中，所述提示信息用于提示用戶錄制音頻；

在接收到用戶錄制的音頻數據的情況下，從所述音頻數據中提取基頻信息，并根據所述基頻信息確定所述演講者基頻信息。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

將確定出的所述演講者基頻信息與所述演講者的特征信息關聯存儲至所述基頻信息數據集。

4.根據權利要求1所述的方法，其特征在于，所述獲取所述耳語數據對應的演講者基頻信息，包括：

通過演講者識別模型對所述耳語數據進行處理，以獲得說出所述耳語數據的演講者的特征信息；

根據所述演講者的特征信息預測所述耳語數據對應的基頻信息，并根據所述基頻信息確定所述演講者基頻信息。

5.根據權利要求4所述的方法，其特征在于，所述演講者識別模型通過以下方式進行訓練：

獲取樣本語音數據以及與所述樣本語音數據對應的演講者標識信息；

將所述樣本語音數據作為模型輸入、將所述演講者標識信息作為模型的目標輸出，對神經網絡模型進行訓練，以得到所述演講者識別模型，其中，所述演講者識別模型中最后一個特征層對應的特征信息作為所述樣本語音數據的演講者的特征信息。

6.根據權利要求2-5中任一項所述的方法，其特征在于，所述根據所述基頻信息確定所述演講者基頻信息，包括：

對所述基頻信息進行離散化處理；

將獲得的離散基頻信息確定為所述演講者基頻信息。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取說出所述耳語數據的演講者所處的環境聲音信息；

根據所述環境聲音信息，確定所述音頻信息對應的播放音量；

根據所述播放音量播放所述音頻信息。

8.一種語音增強裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取待處理的耳語數據；

處理模塊，用于通過語音增強模型對所述耳語數據進行處理，以得到所述耳語數據對應的聲學特征信息，其中，所述語音增強模型包括編碼子模型和解碼子模型，所述編碼子模型用于對所述耳語進行編碼，獲得目標編碼信息，所述解碼子模型通過逐步單調注意力機制對所述目標編碼信息進行解碼，獲得所述聲學特征信息，所述語音增強模型通過耳語數據和正常語音數據進行訓練獲得；

合成模塊，用于根據所述聲學特征信息進行語音合成，以得到與所述耳語數據對應的音頻信息；

所述裝置還包括：

第二獲取模塊，用于獲取所述耳語數據對應的演講者基頻信息；

所述合成模塊包括：

第一合成子模塊，用于根據所述聲學特征信息和所述演講者基頻信息進行語音合成，以得到與所述耳語數據對應的音頻信息。