[發明專利]機器翻譯中的模型訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010550591.5
• 申請日: 2020-06-16
• 公開（公告）號: CN111859997A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 張睿卿;張傳強;何中軍;李芝;吳華
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06K9/62;G06F40/30;G06N20/00
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 田宏賓

1.一種機器翻譯中的模型訓練方法，其中，所述方法包括：

基于平行語料庫，采用機器翻譯模型和語義相似度模型，挖掘一組樣本的相似目標語句，并創建第一訓練樣本集；

采用所述第一訓練樣本集，訓練所述機器翻譯模型；

基于所述平行語料庫，采用所述機器翻譯模型和所述語義相似度模型，挖掘一組樣本中各樣本的負樣本，并創建第二訓練樣本集；

采用所述第二樣本訓練集，訓練所述語義相似度模型。

2.根據權利要求1所述的方法，其中，基于平行語料庫，采用機器翻譯模型和語義相似度模型，挖掘一組樣本的相似目標語句，并創建第一訓練樣本集，包括：

從所述平行語料庫中抽取一組樣本；

對于該組樣本的各所述樣本，根據所述機器翻譯模型和所述語義相似度模型，挖掘各所述樣本的相似目標語句；

對于該組樣本的各所述樣本，將所述樣本的源語句和所述相似目標語句作為擴展樣本，與所述樣本一起構成樣本對，加入所述第一訓練樣本集中。

3.根據權利要求2所述的方法，其中，對于該組樣本的各所述樣本，根據所述機器翻譯模型和所述語義相似度模型，挖掘各所述樣本的相似目標語句，包括：

對于該組樣本的各所述樣本，根據所述機器翻譯模型獲取所述機器翻譯模型對所述樣本中的源語句翻譯后的得到的樣本中的目標語句、以及多個候選目標語句；

采用所述語義相似度模型分別計算所述源語句與各所述候選目標語句的語義相似度；

從所述多個候選目標語句中獲取語義相似度最大的候選目標語句作為所述樣本的相似目標語句。

4.根據權利要求1所述的方法，其中，基于所述平行語料庫，采用所述機器翻譯模型和所述語義相似度模型，挖掘一組樣本中各樣本的負樣本；并創建第二訓練樣本集，包括：

從所述平行語料庫中抽取一組樣本；

對于該組樣本中的各所述樣本，根據所述機器翻譯模型和所述語義相似度模型，挖掘各所述樣本對應的翻譯概率小于預設翻譯概率閾值、語義相似度大于或者等于預設相似度閾值的負樣本；

對于該組樣本中的各所述樣本，將所述樣本和所述負樣本一起構成樣本對，加入所述第二訓練樣本集中。

5.根據權利要求4所述的方法，其中，對于該組樣本中的各所述樣本，根據所述機器翻譯模型和所述語義相似度模型，挖掘各所述樣本對應的翻譯概率小于預設翻譯概率閾值、語義相似度大于或者等于預設相似度閾值的負樣本，包括：

對于該組樣本中的各所述樣本，根據所述機器翻譯模型獲取所述機器翻譯模型對所述樣本中的源語句翻譯后的得到的樣本中的目標語句、以及多個候選目標語句和各所述候選目標語句的翻譯概率；

根據各所述候選目標語句的翻譯概率，從所述多個候選目標語句中篩選翻譯概率小于所述預設翻譯概率閾值的多個備選目標語句；

采用所述語義相似度模型分別計算所述源語句與各所述備選目標語句的語義相似度；

從所述多個備選目標語句中獲取所述語義相似度大于或者等于所述預設相似度閾值的備選目標語句，作為所述負樣本的目標語句，與所述樣本的源語句一起構成所述負樣本。

6.一種機器翻譯中的模型訓練裝置，其中，所述裝置包括：

第一創建模塊，用于基于平行語料庫，采用機器翻譯模型和語義相似度模型，挖掘一組樣本的相似目標語句，并創建第一訓練樣本集；

第一訓練模塊，用于采用所述第一訓練樣本集，訓練所述機器翻譯模型；

第二創建模塊，用于基于所述平行語料庫，采用所述機器翻譯模型和所述語義相似度模型，挖掘一組樣本中各樣本的負樣本，并創建第二訓練樣本集；

第二訓練模塊，用于采用所述第二樣本訓練集，訓練所述語義相似度模型。