[發明專利]一種相似文本數據集生成方法及裝置

在審

• 申請號: 201910270585.1
• 申請日: 2019-04-04
• 公開（公告）號: CN110046332A
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 薛闖
• 申請（專利權）人: 珠海遠光移動互聯科技有限公司
• 主分類號: G06F17/22
• 分類號: G06F17/22;G06F17/27
• 代理公司: 北京天達知識產權代理事務所(普通合伙) 11386
• 代理人: 龐許倩;武悅

1.一種相似文本數據集生成方法，其特征在于，包括如下步驟：

利用第一轉換模型，將原文本轉換為與所述原文本相關的第一文本集；

利用第二轉換模型，將得到的所述第一文本集中的每一文本分別轉換為與所述每一文本相關的第二文本集；

從所述第二文本集中選擇與原文本相似的文本，將所述選擇結果作為原文本的相似文本數據集；

所述第一轉換模型與所述第二轉換模型采用不同的轉換方式。

2.根據權利要求1所述的方法，其特征在于：所述第一轉換模型、第二轉換模型分別為翻譯方式不同的翻譯模型：

所述第一轉換模型包括多個翻譯子模型，不同的翻譯子模型翻譯側重的方向不同；利用所述多個翻譯子模型分別將原文本由原語言轉換為側重方向不同、同一中介語言表示的文本，得到由同一中介語言表述的第一文本集；

所述第二轉換模型，用于將所述第一文本集中的每一文本，由中介語言轉換為原語言，得到由原語言表述的第二文本集。

3.根據權利要求1所述的方法，其特征在于：所述第一轉換模型、第二轉換模型分別為翻譯方式不同的翻譯模型：

所述第一轉換模型包括N個翻譯子模型，不同的翻譯子模型分別用于將原文本由原語言轉化為不同的中介語言，得到由多種中介語言表述的第一文本集；

所述第二轉換模型也包括N個翻譯子模型，分別與第一轉換模型中的N個翻譯子模型對應設置，不同的翻譯子模型分別用于將所述第一文本集中的每一文本由中介語言轉換為原語言，得到由原語言表述的第二文本集。

4.根據權利要求2或3所述的方法，其特征在于，利用不同的損失函數及懲罰機制訓練所述第一轉換模型、所述第二轉換模型；

利用所述原語言與所述中介語言對應的第一平行數據訓練所述第一轉換模型；

利用所述中介語言與所述語言對應的第二平行數據訓練所述第二轉換模型；

其中，所述第一平行數據與第二平行數據為不同數據。

5.根據權利要求4所述的方法，其特征在于，執行以下操作，獲取所述第二文本集中與原文本相似的文本，得到原文本的相似文本數據集：

對所述第二文本集中的各文本、原文本分別進行分詞，得到第二文本集中的各文本向量與原文本的文本向量；

分別計算所述第二文本集中的各文本向量與原文本的文本向量的余弦相似度，提取所述余弦相似度滿足余弦相似度閾值范圍的第二文本集中的文本，作為原文本的相似文本數據集。

6.一種相似文本數據集生成裝置，其特征在于，包括：

第一文本集生成模塊，用于利用第一轉換模型，將原文本轉換為與所述原文本相關的第一文本集；

第二文本集生成模塊，用于利用第二轉換模型，將得到的所述第一文本集中的每一文本分別轉換為與所述每一文本相關的第二文本集；

相似文本數據集生成模塊，用于從所述第二文本集中選擇與原文本相似的文本，將所述選擇結果作為原文本的相似文本數據集；

其中，所述第一轉換模型與所述第二轉換模型采用不同的轉換方式。

7.根據權利要求6所述的裝置，其特征在于：所述第一轉換模型、第二轉換模型分別為翻譯方式不同的翻譯模型：

所述第一轉換模型包括多個翻譯子模型，不同的翻譯子模型翻譯側重的方向不同；利用所述多個翻譯子模型分別將原文本由原語言轉換為側重方向不同、同一中介語言表示的文本，得到由同一中介語言表述的第一文本集；

所述第二轉換模型，用于將所述第一文本集中的每一文本，由中介語言轉換為原語言，得到由原語言表述的第二文本集。

8.根據權利要求6所述的裝置，其特征在于：所述第一轉換模型、第二轉換模型分別為翻譯方式不同的翻譯模型：

所述第一轉換模型包括N個翻譯子模型，不同的翻譯子模型分別用于將原文本由原語言轉化為不同的中介語言，得到由多種中介語言表述的第一文本集；

所述第二轉換模型也包括N個翻譯子模型，分別與第一轉換模型中的N個翻譯子模型對應設置，不同的翻譯子模型分別用于將所述第一文本集中的每一文本由中介語言轉換為原語言，得到由原語言表述的第二文本集。