[發明專利]俄漢語音翻譯方法、俄漢語音翻譯裝置及存儲介質

在審

• 申請號: 202110018492.7
• 申請日: 2021-01-07
• 公開（公告）號: CN112767918A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 馬延周;李宏欣;楊政;易綿竹;張一尼;盧國超;閆丹輝;張婷
• 申請（專利權）人: 中國人民解放軍戰略支援部隊信息工程大學
• 主分類號: G10L15/02
• 分類號: G10L15/02;G06F40/58;G06N3/04;G06N3/08;G10L15/06;G10L15/16;G10L15/22;G10L19/16;G10L25/24
• 代理公司: 北京鉦霖知識產權代理有限公司 11722
• 代理人: 李志新;劉亞平

1.一種俄漢語音翻譯方法，其特征在于，所述俄漢語音翻譯方法包括：

獲取待翻譯的俄語語音，并將所述待翻譯的俄語語音轉換為待翻譯梅爾譜圖；

通過預先訓練好的俄漢語音翻譯模型，將所述待翻譯梅爾譜圖翻譯成目標梅爾譜圖；

根據所述目標梅爾譜圖，得到所述待翻譯的俄語語音對應的漢語語音。

2.根據權利要求1所述的俄漢語音翻譯方法，其特征在于，

所述俄漢語音翻譯模型包括：長短時記憶網絡、局部注意力機制和雙向長短時記憶網絡；

所述通過預先訓練好的俄漢語音翻譯模型，將所述待翻譯梅爾譜圖翻譯成目標梅爾譜圖，包括：

將所述待翻譯多幀梅爾譜圖通過長短時記憶網絡進行編碼，得到待翻譯中間向量；

將所述待翻譯向量基于局部注意力機制進行聚焦，確定所述待翻譯中間向量的注意向量；

通過雙向長短時記憶網絡，將確定注意向量后的所述待翻譯中間向量進行解碼，得到所述待翻譯梅爾譜圖翻譯后的對應漢語的目標梅爾譜圖。

3.根據權利要求1或2所述的俄漢語音翻譯方法，其特征在于，所述俄漢語音翻譯模型采用下述方式訓練得到：

獲取訓練語音集對應的多個訓練梅爾譜圖，所述訓練語料集包括多條俄語訓練語音，所述訓練梅爾譜圖與所述俄語訓練語音相對應；

獲取漢語語音集對應的多個漢語梅爾譜圖，所述漢語梅爾譜圖與所述俄語訓練語音的漢語訓練語音相對應；

將所述訓練梅爾譜圖輸入至端到端模型中，并基于局部注意力機制，得到所述訓練梅爾譜圖對應的翻譯梅爾譜圖；

基于所述翻譯梅爾譜圖和所述漢語梅爾譜圖訓練所述端到端模型，得到所述俄漢語音翻譯模型。

4.根據權利要求3所述的俄漢語音翻譯方法，其特征在于，所述基于所述翻譯梅爾譜圖和所述漢語梅爾譜圖訓練所述端到端模型，得到所述俄漢語音翻譯模型，包括：

根據所述翻譯梅爾譜圖，得到所述俄語訓練語音對應翻譯的漢語語音；

獲取所述目標梅爾譜圖對應的漢語訓練語音；

基于所述漢語語音與所述漢語訓練語音之間的對比結果，訓練所述端到端模型，得到所述俄漢語音翻譯模型。

5.根據權利要求4所述的俄漢語音翻譯方法，其特征在于，在得到所述俄漢語音翻譯模型之前，所述俄漢語音翻譯模型的訓練方式還包括：

確定所述漢語語音的流暢度。

6.根據權利要求4所述的俄漢語音翻譯方法，其特征在于，所述基于所述漢語語音與所述漢語訓練語音之間的對比結果，訓練所述端到端模型，得到所述俄漢語音翻譯模型，包括：

獲取所述漢語語音的中文文本以及所述漢語訓練語音的漢語訓練文本；

確定所述中文文本與所述漢語訓練文本之間的誤差率，若所述中文文本與所述漢語訓練文本之間的誤差率小于誤差閾值，則停止訓練，得到所述俄漢語音翻譯模型；

若所述中文文本與所述漢語訓練文本之間的誤差率大于或者等于所述誤差閾值，則繼續訓練所述端到端模型。

7.根據權利要求4所述的俄漢語音翻譯方法，其特征在于，所述漢語訓練語音與對應的所述俄語訓練語音采樣頻率相同。

8.根據權利要求1所述的俄漢語音翻譯方法，其特征在于，所述根據所述目標梅爾譜圖，得到所述待翻譯的俄語語音對應的漢語語音，包括：

通過聲碼器，將所述目標梅爾譜圖重建，得到所述待翻譯的俄語語音對應的漢語語音。

9.一種俄漢語音翻譯裝置，其特征在于，所述俄漢語音翻譯裝置包括：

獲取單元，用于獲取待翻譯的俄語語音，并將所述待翻譯的俄語語音轉換為待翻譯梅爾譜圖；

翻譯單元，用于通過預先訓練好的俄漢語音翻譯模型，將所述待翻譯梅爾譜圖翻譯成目標梅爾譜圖；

轉換單元，用于根據所述目標梅爾譜圖，得到所述待翻譯的俄語語音對應的漢語語音。