[發明專利]韻律預測方法、訓練方法、裝置、電子設備和介質

有效

• 申請號: 202011340106.8
• 申請日: 2020-11-25
• 公開（公告）號: CN112397050B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 聶志朋;高占杰;陳昌濱
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L13/10
• 分類號: G10L13/10;G10L13/08;G10L25/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

1.一種韻律預測方法，所述方法包括：

獲取混合文本；其中，所述混合文本中包含第一語言的文本片段，和包含第二語言的文本片段；

對所述第一語言的文本片段中各字符編碼得到對應的第一字符向量，對所述第二語言的文本片段中各所述字符編碼得到對應的第二字符向量；

根據各所述字符在所述混合文本中的語序，對所述第一字符向量和所述第二字符向量排序，得到向量序列；

將所述向量序列輸入經過訓練的韻律預測模型，得到所述第一字符向量和所述第二字符向量切換位置處的過渡韻律；

將所述過渡韻律拼接在所述第一語言的文本片段對應的韻律和所述第二語言的文本片段對應的韻律之間，以得到所述混合文本的韻律。

2.根據權利要求1所述的韻律預測方法，其中，所述獲取混合文本，包括：

獲取待預測文本；

識別所述待預測文本中包含所述第二語言的文本片段；

對所述待預測文本從位于所述第二語言的文本片段之前設定個數的第一語言字符開始截取，截取至位于所述第二語言的文本片段之后的設定個數的所述第一語言字符，以得到所述混合文本。

3.根據權利要求1所述的韻律預測方法，其中，所述將所述向量序列輸入經過訓練的韻律預測模型，得到所述第一字符向量和所述第二字符向量切換位置處的過渡韻律之后，所述方法還包括：

在所述第一語言的文本片段與所述第二語言的文本片段之間具有標點的情況下，查詢預設的韻律規則，以確定與所述標點匹配的韻律規則；

根據所述標點匹配的韻律規則，對所述過渡韻律進行修正。

4.根據權利要求1所述的韻律預測方法，其中，所述韻律預測模型包括雙向長短期記憶網絡LSTM層和全連接層；

其中，雙向LSTM層，用于對輸入的所述向量序列進行雙向特征提取；

所述全連接層，用于對所述雙向LSTM提取的特征進行分類，得到所述過渡韻律。

5.根據權利要求4所述的韻律預測方法，其中，所述全連接層為至少兩個；

其中，一個所述全連接層，用于對所述雙向LSTM提取的特征分類得到所述第一字符向量切換為所述第二字符向量的位置處的所述過渡韻律；

另一個所述全連接層，用于對所述雙向LSTM提取的特征分類得到所述第二字符向量切換為所述第一字符向量的位置處的所述過渡韻律。

6.一種韻律預測模型的訓練方法，所述韻律預測模型應用于如權利要求1-5任一項所述韻律預測方法，所述訓練方法包括：

獲取訓練樣本，其中，所述訓練樣本包括參考文本和韻律標注，所述參考文本包括第一語言的文本片段和第二語言的文本片段，所述韻律標注，用于表征所述參考文本中所述第一語言的文本片段和所述第二語言的文本片段之間的過渡韻律；

采用所述訓練樣本，對所述韻律預測模型進行訓練，以使韻律預測模型輸出得到的韻律與所述韻律標注之間的差異最小化。

7.一種韻律預測裝置，所述裝置包括：

獲取模塊，用于獲取混合文本；其中，所述混合文本中包含第一語言的文本片段，和包含第二語言的文本片段；

編碼模塊，用于對所述第一語言的文本片段中各字符編碼得到對應的第一字符向量，對所述第二語言的文本片段中各所述字符編碼得到對應的第二字符向量；

排序模塊，用于根據各所述字符在所述混合文本中的語序，對所述第一字符向量和所述第二字符向量排序，得到向量序列；

輸入模塊，用于將所述向量序列輸入經過訓練的韻律預測模型，得到所述第一字符向量和所述第二字符向量切換位置處的過渡韻律；

拼接模塊，用于將所述過渡韻律拼接在所述第一語言的文本片段對應的韻律和所述第二語言的文本片段對應的韻律之間，以得到所述混合文本的韻律。