[發明專利]韻律邊界標注方法、裝置、設備、介質及程序產品

在審

• 申請號: 202210555616.X
• 申請日: 2022-05-19
• 公開（公告）號: CN115116428A
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 余劍威;王琰;戴子茜
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L13/10
• 分類號: G10L13/10;G06F40/205;G06F40/289
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

1.一種韻律邊界標注方法，其特征在于，所述方法包括：

獲取目標文本和目標音頻，所述目標文本的文本內容與所述目標音頻的音頻內容匹配，所述目標文本為待進行韻律邊界識別的文本；

以字符為分析粒度提取所述目標文本的文本韻律特征表示；以及，以發聲內容為分析基礎提取所述目標音頻的音頻韻律特征表示；

將所述文本韻律特征表示和所述音頻韻律特征表示進行融合，得到融合韻律特征表示；

基于所述融合韻律特征表示對所述目標文本進行韻律邊界預測，得到與所述目標文本等長的韻律邊界標注結果，所述韻律邊界標注結果中包括以字符為粒度在所述目標文本上的進行劃分的韻律邊界。

2.根據權利要求1所述的方法，其特征在于，所述韻律邊界包括字邊界、語法詞邊界、韻律詞邊界、韻律短語邊界、語調短語邊界中的至少一種；

所述字邊界是對所述目標文本中的字符進行劃分的邊界；

所述語法詞邊界是對所述目標文本中的語法詞進行劃分的邊界；

所述韻律詞邊界是對所述目標文本中的韻律詞進行劃分的邊界；

所述韻律短語邊界是對所述目標文本中的韻律短語進行劃分的邊界；

所述語調短語邊界是對所述目標文本中的語調短語進行劃分的邊界。

3.根據權利要求2所述的方法，其特征在于，所述基于所述融合韻律特征表示對所述目標文本進行韻律邊界預測，得到與所述目標文本等長的韻律邊界標注結果，包括：

基于所述融合韻律特征表示對所述目標文本進行韻律邊界預測，確定所述目標文本中的字符對應的韻律邊界類型；

以所述韻律邊界類型對所述目標文本中的字符進行標注，得到與所述目標文本等長的韻律邊界標注結果。

4.根據權利要求1至3任一所述的方法，其特征在于，所述以字符為分析粒度提取所述目標文本的文本韻律特征表示，包括：

對所述目標文本進行字符分割，得到所述目標文本中的多個字符數據；

提取多個字符數據分別對應的字向量；

將所述字向量輸入文本編碼器，輸出所述目標文本的文本韻律特征表示，所述文本編碼器是通過文本語料庫預訓練得到的編碼器。

5.根據權利要求1至3任一所述的方法，其特征在于，所述以發聲內容為分析基礎提取所述目標音頻的音頻韻律特征表示，包括：

提取所述目標音頻的頻域特征表示和音高特征表示，所述頻域特征表示和所述音高特征表示用于指示所述目標音頻的發聲內容；

對所述頻域特征表示和所述音高特征表示進行拼接，得到目標特征表示；

將目標特征表示輸入音頻編碼器，輸出得到所述目標音頻的音頻韻律特征表示，所述音頻編碼器是通過語音數據集預訓練得到的編碼器。

6.根據權利要求5所述的方法，其特征在于，所述將目標特征表示輸入音頻編碼器，輸出得到所述目標音頻的音頻韻律特征表示，包括：

將所述目標特征表示輸入所述音頻編碼器，得到第一語音后驗概率圖，所述第一語音后驗概率圖用于指示所述目標音頻的音素級別后驗概率；

基于所述第一語音后驗概率圖，輸出得到所述目標音頻的音頻韻律特征表示。

7.根據權利要求5所述的方法，其特征在于，所述將目標特征表示輸入音頻編碼器，輸出得到所述目標音頻的音頻韻律特征表示，包括：

將所述目標特征表示輸入所述音頻編碼器，得到第二語音后驗概率圖，所述第二語音后驗概率圖用于指示所述目標音頻的字級別后驗概率；

基于所述第二語音后驗概率圖，輸出得到所述目標音頻的音頻韻律特征表示。

8.根據權利要求7所述的方法，其特征在于，所述目標音頻分割為多個音頻片段分別進行分析，所述目標特征表示中包括目標音頻片段對應的片段特征表示；

所述將所述目標特征表示輸入所述音頻編碼器，得到第二語音后驗概率圖，包括：

將所述片段特征表示輸入所述音頻編碼器，得到所述片段特征表示對應的后驗概率子圖；

將多個音頻片段分別對應的后驗概率子圖進行整合，得到所述第二語音后驗概率圖。