[發明專利]基于短語的神經機器翻譯的方法及系統

有效

• 申請號: 202010145476.X
• 申請日: 2020-03-03
• 公開（公告）號: CN111414771B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 陳巍華
• 申請（專利權）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/211;G06F40/242;G06N3/08
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 張楠楠

1.一種基于短語的神經機器翻譯方法，其特征在于，包括：

S1：由單語的源語料生成包含子詞、詞以及短語的源詞典；

S2：由單語的目標語料生成包含子詞、詞以及短語的目標詞典；

S3：源語料通過源詞典、目標語料通過目標詞典分別轉化成相應的詞向量；

S4：對S2步驟得到的詞向量進行神經網絡訓練，從而得到最終的翻譯模型。

2.如權利要求1所述的一種基于短語的神經機器翻譯方法，其特征在于，

S1步驟中生成源詞典、S2步驟中生成目標詞典均包括以下步驟：

D1：由語料選出短語；

D2：由語料生成包括子詞、詞的BPE詞典；

D3：將D1步驟得到的短語與D2步驟得到的BPE詞典相結合生成詞典；

所述語料包括源語料、目標語料；

所述詞典包括源詞典、目標詞典；

由源語料經上述D1-D3步驟生成的詞典為源詞典；

由目標語料經上述D1-D3步驟生成的詞典為目標詞典。

3.如權利要求2所述的一種基于短語的神經機器翻譯方法，其特征在于，

所述D1步驟具體包括：

D11：利用語料訓練語言模型；

D12：利用句法分析樹算法對語料進行句法分析，得到每個語料的句法分析樹；

D13：通過句法分析樹得到句子的嵌套結構，將嵌套的詞組作為備選短語組，對備選短語組進行去重，保證每個短語只保留一份，從而得到備選短語組；

D14：利用D11步驟中訓練好的語言模型對D13步驟得到的備選短語組進行打分，從而得到短語評分，將短語評分與預先設置的分數閾值比較保留短語評分符合分數閾值的短語。

4.如權利要求2所述的一種基于短語的神經機器翻譯方法，其特征在于，

所述D2步驟具體為：

使用BPE分詞技術對單語的語料進行BPE分詞，得到對應的BPE詞典。

5.如權利要求3所述的一種基于短語的神經機器翻譯方法，其特征在于，

所述語言模型為N-gram語言模型；

所述句法分析樹算法為PCFG的算法。

6.一種基于短語的神經機器翻譯系統，其特征在于，包括：

詞典生成模塊，其用于將單語的源語料生成包含子詞、詞以及短語的源詞典，將單語的目標語料生成包含子詞、詞以及短語的目標詞典；

詞向量轉化模塊，其用于將源語料通過源詞典、目標語料通過目標詞典分別轉化成相應的詞向量；

神經網絡訓練模塊，其用于對詞向量進行神經網絡訓練,從而得到最終的翻譯模型。

7.如權利要求6所述的一種基于短語的神經機器翻譯系統，其特征在于，

所述詞典生成模塊包括：

短語模塊，用于由語料選出短語；

BPE詞典生成模塊，用于由語料生成包括子詞、詞的BPE詞典；

詞典合成模塊：將短語選出模塊得到的短語與BPE詞典生成模塊得到的BPE詞典相結合生成詞典。

8.如權利要求7所述的一種基于短語的神經機器翻譯系統，其特征在于，

所述短語模塊包括：

訓練語言模型模塊，用于利用語料訓練語言模型；

句法分析樹模塊，用于利用句法分析樹算法對語料進行句法分析，得到每個語料的句法分析樹；

備選短語組模塊，用于通過句法分析樹得到句子的嵌套結構，并將嵌套的詞組作為備選短語組，對備選短語組進行去重，保證每個短語只保留一份，從而得到備選短語組；

短語選出模塊，用于利用訓練語言模型模塊中訓練好的語言模型對備選短語組模塊得到的備選短語組進行打分，從而得到短語評分，將短語評分與預先設置的分數閾值比較，保留短語評分符合分數閾值的短語。

9.如權利要求7所述的一種基于短語的神經機器翻譯系統，其特征在于，

所述BPE詞典生成模塊為使用BPE分詞技術對單語的語料進行BPE分詞，得到對應的BPE詞典。

10.如權利要求8所述的一種基于短語的神經機器翻譯系統，其特征在于，

所述語言模型為N-gram語言模型；

所述句法分析樹算法為PCFG的算法。