[發(fā)明專利]基于短語的神經(jīng)機器翻譯的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010145476.X
• 申請日: 2020-03-03
• 公開（公告）號: CN111414771B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設計）人: 陳巍華
• 申請（專利權(quán)）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/211;G06F40/242;G06N3/08
• 代理公司: 北京冠和權(quán)律師事務所 11399
• 代理人: 張楠楠

本發(fā)明提供的基于短語的神經(jīng)機器翻譯的方法及系統(tǒng)，通過：由單語的源語料生成包含子詞、詞以及短語的源詞典；由單語的目標語料生成包含子詞、詞以及短語的目標詞典；源語料通過源詞典、目標語料通過目標詞典分別轉(zhuǎn)化成相應的詞向量；對S2步驟得到的詞向量進行神經(jīng)網(wǎng)絡訓練，從而得到最終的翻譯模型。本發(fā)明提供的基于短語的神經(jīng)機器翻譯方法及系統(tǒng)，通過在訓練中引入了短語的信息，將句子中常見的短語作為一個整體來進行翻譯，能保證在翻譯的過程中不會被切分的很碎，導致錯翻或者漏翻的情況出現(xiàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及機器翻譯技術(shù)領(lǐng)域，特別涉及一種基于短語的神經(jīng)機器翻譯的方法及系統(tǒng)。

背景技術(shù)

現(xiàn)有的主流機器翻譯方法是基于端到端的神經(jīng)機器翻譯方法，利用大規(guī)模雙語平行語料，通過Encoder-Decoder神經(jīng)網(wǎng)絡框架進行模型訓練。在訓練的時候使用BPE分詞來生成雙語詞典，訓練語料通過生成的雙語詞典轉(zhuǎn)化成相應的詞向量來進行網(wǎng)絡訓練。

但是BPE分詞會將訓練語料顆粒度切分的很小，一個句子基本上由詞或者子詞組成，雖然在一定程度上能解決UNK(未知詞)的問題，但會將很多有意義的短語切分開來，導致最后翻譯的時候會出現(xiàn)句子中短語翻譯不正確的情況，比如像命名實體、通用俗語的翻譯。

發(fā)明內(nèi)容

為了克服上述問題，本發(fā)明提供了基于短語的神經(jīng)機器翻譯方法及系統(tǒng)，可以通過在訓練雙語語料中引入“短語”顆粒來切分訓練雙語，有效的解決句子中短語翻譯錯誤的問題。

基于短語的神經(jīng)機器翻譯方法具體包括：

S1：由單語的源語料生成包含子詞、詞以及短語的源詞典；

S2：由單語的目標語料生成包含子詞、詞以及短語的目標詞典；

S3：源語料通過源詞典、目標語料通過目標詞典分別轉(zhuǎn)化成相應的詞向量；

S4：對S2步驟得到的詞向量進行神經(jīng)網(wǎng)絡訓練，從而得到最終的翻譯模型。

進一步的，S1步驟中生成源詞典、S2步驟中生成目標詞典均包括以下步驟：

D1：由語料選出短語；

D2：由語料生成包括子詞、詞的BPE詞典；

D3：將D1步驟得到的短語與D2步驟得到的BPE詞典相結(jié)合生成詞典；

所述語料包括源語料、目標語料；

所述詞典包括源詞典、目標詞典；

由源語料經(jīng)上述D1-D3步驟生成的詞典為源詞典；

由目標語料經(jīng)上述D1-D3步驟生成的詞典為目標詞典。

進一步的，所述D1步驟具體包括：

D11：利用語料訓練語言模型；

D12：利用句法分析樹算法對語料進行句法分析，得到每個語料的句法分析樹；

D13：通過句法分析樹得到句子的嵌套結(jié)構(gòu)，將嵌套的詞組作為備選短語組，對備選短語組進行去重，保證每個短語只保留一份，從而得到備選短語組；

D14：利用D11步驟中訓練好的語言模型對D13步驟得到的備選短語組進行打分，從而得到短語評分，將短語評分與預先設置的分數(shù)閾值比較，保留短語評分符合分數(shù)閾值的短語。

進一步的，所述D2步驟具體為：

使用BPE分詞技術(shù)對單語的語料進行BPE分詞，得到對應的BPE詞典。

進一步的，所述語言模型為N-gram語言模型；所述句法分析樹算法為PCFG算法。

基于短語的神經(jīng)機器翻譯系統(tǒng)，具體包括：