[發明專利]俄漢語音翻譯方法、俄漢語音翻譯裝置及存儲介質

在審

• 申請號: 202110018492.7
• 申請日: 2021-01-07
• 公開（公告）號: CN112767918A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 馬延周;李宏欣;楊政;易綿竹;張一尼;盧國超;閆丹輝;張婷
• 申請（專利權）人: 中國人民解放軍戰略支援部隊信息工程大學
• 主分類號: G10L15/02
• 分類號: G10L15/02;G06F40/58;G06N3/04;G06N3/08;G10L15/06;G10L15/16;G10L15/22;G10L19/16;G10L25/24
• 代理公司: 北京鉦霖知識產權代理有限公司 11722
• 代理人: 李志新;劉亞平

本公開關于一種俄漢語音翻譯方法、俄漢語音翻譯裝置及存儲介質。俄漢語音翻譯方法，包括：獲取待翻譯的俄語語音，并將待翻譯的俄語語音轉換為待翻譯梅爾譜圖。通過預先訓練好的俄漢語音翻譯模型，將待翻譯梅爾譜圖翻譯成目標梅爾譜圖。根據目標梅爾譜圖，得到待翻譯的俄語語音對應的漢語語音。通過本公開提供的俄漢語音翻譯方法，先將待翻譯的俄語語音轉換為待翻譯梅爾譜圖，能夠準確表征待翻譯的俄語語音的語音特征，進而采用訓練好的俄漢語音翻譯模型將其翻譯成目標梅爾譜圖，得到待翻譯的俄語語音對應的漢語語音時，便可以降低準確率折損嚴重的問題，有助于提升翻譯質量。且有助于加快俄漢語音翻譯速率，有利于提升對俄的信息處理能力。

技術領域

本公開涉及語音識別技術領域，尤其涉及一種俄漢語音翻譯方法、俄漢語音翻譯裝置及存儲介質。

背景技術

現有的語音翻譯系統，主要針對的是英、日、德等適用范圍廣，使用人數較多的語種，而對民族語言、小語種等語音翻譯較少。

相關技術中，針對俄漢語音翻譯，主要包括兩種方式。第一種是將帶翻譯的俄語經過語音識別后，再進行相應的翻譯和語音合成。但采用該種方式，經過語音識別、翻譯和語音合成這等多步處理，折損率嚴重，容易導致最終經過翻譯得到的漢語語音翻譯質量不佳。另一種主要采用的是人工翻譯，導致語音中信息處理速度慢，且由于翻譯人員匱乏，容易導致大量重要信息未得到及時處理而使得其價值流失。

發明內容

為克服相關技術中存在的問題，本公開提供一種俄漢語音翻譯方法、俄漢語音翻譯裝置及存儲介質。

根據本公開實施例的第一方面，提供一種俄漢語音翻譯方法，包括：獲取待翻譯的俄語語音，并將所述待翻譯的俄語語音轉換為待翻譯梅爾譜圖。通過預先訓練好的俄漢語音翻譯模型，將所述待翻譯梅爾譜圖翻譯成目標梅爾譜圖。根據所述目標梅爾譜圖，得到所述待翻譯的俄語語音對應的漢語語音。

在一實施例中，所述俄漢語音翻譯模型包括：長短時記憶網絡、局部注意力機制和雙向長短時記憶網絡。所述通過預先訓練好的俄漢語音翻譯模型，將所述待翻譯梅爾譜圖翻譯成目標梅爾譜圖，包括：將所述待翻譯多幀梅爾譜圖通過長短時記憶網絡進行編碼，得到待翻譯中間向量。將所述待翻譯向量基于局部注意力機制進行聚焦，確定所述待翻譯中間向量的注意向量。通過雙向長短時記憶網絡，將確定注意向量后的所述待翻譯中間向量進行解碼，得到所述待翻譯梅爾譜圖翻譯后的對應漢語的目標梅爾譜圖。

在另一實施例中，所述俄漢語音翻譯模型采用下述方式訓練得到：獲取訓練語音集對應的多個訓練梅爾譜圖，所述訓練語料集包括多條俄語訓練語音，所述訓練梅爾譜圖與所述俄語訓練語音相對應。獲取漢語語音集對應的多個漢語梅爾譜圖，所述漢語梅爾譜圖與所述俄語訓練語音的漢語訓練語音相對應。將所述訓練梅爾譜圖輸入至端到端模型中，并基于局部注意力機制，得到所述訓練梅爾譜圖對應的翻譯梅爾譜圖。基于所述翻譯梅爾譜圖和所述漢語梅爾譜圖訓練所述端到端模型，得到所述俄漢語音翻譯模型。

在又一實施例中，所述基于所述翻譯梅爾譜圖和所述漢語梅爾譜圖訓練所述端到端模型，得到所述俄漢語音翻譯模型，包括：根據所述翻譯梅爾譜圖，得到所述俄語訓練語音對應翻譯的漢語語音。獲取所述目標梅爾譜圖對應的漢語訓練語音。基于所述漢語語音與所述漢語訓練語音之間的對比結果，訓練所述端到端模型，得到所述俄漢語音翻譯模型。

在又一實施例中，在得到所述俄漢語音翻譯模型之前，所述俄漢語音翻譯模型的訓練方式還包括：確定所述漢語語音的流暢度。

在又一實施例中，所述基于所述漢語語音與所述漢語訓練語音之間的對比結果，訓練所述端到端模型，得到所述俄漢語音翻譯模型，包括：獲取所述漢語語音的中文文本以及所述漢語訓練語音的漢語訓練文本。確定所述中文文本與所述漢語訓練文本之間的誤差率，若所述中文文本與所述漢語訓練文本之間的誤差率小于誤差閾值，則停止訓練，得到所述俄漢語音翻譯模型。若所述中文文本與所述漢語訓練文本之間的誤差率大于或者等于所述誤差閾值，則繼續訓練所述端到端模型。