[發明專利]一種對齊音頻和文本的方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110896043.2
• 申請日: 2021-08-05
• 公開（公告）號: CN113536029B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 軒曉光;陳傳藝;張超鋼
• 申請（專利權）人: 廣州酷狗計算機科技有限公司
• 主分類號: G06F16/683
• 分類號: G06F16/683;G06N3/0464;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

1.一種對齊音頻和文本的方法，其特征在于，所述方法包括：

獲取待對齊的目標文本，以及獲取所述目標文本對應的目標音頻；

根據預設的詞與音素的對應關系，確定所述目標文本包含的各個詞對應的音素，作為第一音素；

按照所述第一音素之間的第一音素順序，針對所述第一音素中的每一待處理音素，在該待處理音素后添加預設音素，得到第二音素；其中，所述待處理音素的延音的語音特征與所述待處理音素的語音特征不同；所述第一音素順序為基于所述第一音素對應的詞在所述目標文本中的順序確定的；

基于所述目標音頻中的各目標音頻幀各自的頻譜特征和預先訓練的概率預測模型，得到每一目標音頻幀與每一第二音素相對應的概率，作為目標概率；其中，所述概率預測模型為基于預設訓練樣本進行訓練得到的；所述預設訓練樣本包括：樣本音頻幀的頻譜特征，以及每一樣本音頻幀與每一預設音素相對應的概率；所述概率預測模型為按照以下方式訓練得到的：將各樣本音頻幀的頻譜特征作為初始概率預測模型的輸入數據，并將各樣本音頻幀與預設音素相對應的樣本概率作為所述初始概率預測模型的輸出數據，對所述初始概率預測模型的模型參數進行調整；當所述初始概率預測模型達到預設收斂條件時得到訓練好的概率預測模型；

基于各個目標音頻幀對應的目標概率，以及所述第二音素之間的第二音素順序，從所述第二音素中確定每一目標音頻幀對應的目標音素；

確定所述目標文本中每一目標音頻幀對應的目標音素所屬的文本，作為與該目標音頻幀對齊的文本。

2.根據權利要求1所述的方法，其特征在于，所述獲取待對齊的目標文本，包括：

獲取原始文本；

刪除所述原始文本中的冗余文本內容，得到待對齊的目標文本。

3.根據權利要求1所述的方法，其特征在于，所述根據預設的詞與音素的對應關系，確定所述目標文本包含的各個詞對應的音素，作為第一音素，包括：

針對所述目標文本中的每一個詞，如果該詞為中文，則確定該詞的拼音音素，作為該詞的第一音素；

如果該詞為非中文，基于該詞的國際音標確定該詞的第一音素。

4.根據權利要求3所述的方法，其特征在于，所述基于該詞的國際音標確定該詞的第一音素，包括：

如果存在與該詞的國際音標的語音特征相同的拼音音素，確定該拼音音素為該詞的第一音素；

如果不存在與該詞的國際音標的語音特征相同的拼音音素，確定該詞的國際音標為該詞的第一音素。

5.根據權利要求1所述的方法，其特征在于，所述獲取所述目標文本對應的目標音頻，包括：

獲取所述目標文本對應的原始音頻；

提取所述原始音頻中包含人聲的音頻幀，得到目標音頻。

6.根據權利要求1所述的方法，其特征在于，所述預設訓練樣本通過以下步驟生成得到：

獲取樣本文本和所述樣本文本對應的樣本音頻；

獲取所述樣本文本對應的樣本音素，以及所述樣本音頻中的多個樣本音頻幀的頻譜特征；其中，所述樣本音頻幀包括：包含人聲且不包含伴奏聲的音頻幀，以及包含人聲和伴奏聲的音頻幀；

基于樣本音頻幀與樣本音素的對應關系，確定每一樣本音頻幀與每一預設音素相對應的概率，作為樣本概率；其中，一個樣本音頻幀與對應的樣本音素相對應的概率為第一數值；一個樣本音頻幀與除對應的樣本音素外的其他音素相對應的概率為第二數值。

7.根據權利要求1所述的方法，其特征在于，所述基于各個目標音頻幀對應的目標概率，以及所述第二音素之間的第二音素順序，從所述第二音素中確定每一目標音頻幀對應的目標音素，包括：

基于最短路徑算法、各個目標音頻幀對應的目標概率，以及所述第二音素之間的第二音素順序，從第一個目標音頻幀與最后一個目標音頻幀之間的多個路徑中，確定出最短路徑；其中，每一路徑包含多個節點，每一節點表示一個目標音頻幀和一個第二音素之間的目標概率，所述最短路徑為各個路徑中對應的各目標概率的和值最大的路徑；

針對每一目標音頻幀，確定所述最短路徑中該目標音頻幀對應的節點；

從所述第二音素中，確定該節點對應的音素，作為該目標音頻幀對應的目標音素。