[發明專利]一種相似文本數據集生成方法及裝置

在審

• 申請號: 201910270585.1
• 申請日: 2019-04-04
• 公開（公告）號: CN110046332A
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 薛闖
• 申請（專利權）人: 珠海遠光移動互聯科技有限公司
• 主分類號: G06F17/22
• 分類號: G06F17/22;G06F17/27
• 代理公司: 北京天達知識產權代理事務所(普通合伙) 11386
• 代理人: 龐許倩;武悅

本發明涉及一種相似文本數據集生成方法及裝置，屬于自然語言文本智能分析技術領域，解決了現有相似文本數據集生成方法存在的生成效率低、相似度差等問題。包括如下步驟：利用第一轉換模型，將原文本轉換為與所述原文本相關的第一文本集；利用第二轉換模型，將得到的所述第一文本集中的每一文本分別轉換為與所述每一文本相關的第二文本集；從所述第二文本集中選擇與原文本相似的文本，將所述選擇結果作為原文本的相似文本數據集；所述第一轉換模型與所述第二轉換模型采用不同的轉換方式。實現了相似文本數據集的快速生成，且生成的相似文本數據集中的各文本與原文本相似度較高。

技術領域

本發明涉及自然語言文本智能分析技術領域，尤其涉及一種相似文本數據集生成方法及裝置。

背景技術

目前，獲得高質量的相似文本數據主要還是依靠人力篩選，想獲得大量的數據就要使用大量的人力，因此會消耗大量的人力以及財力。而且，不同的人因為認知的不同，標記存在主觀意識，可能兩句話一個人覺得相似，另一個人覺得不相似，尤其是在專業領域，很多文本的含義需要大量思考和專業知識。

因此，現有技術中的相似文本數據集生成方法，普遍存在生成效率低、相似度較差等問題。

發明內容

鑒于上述的分析，本發明旨在提供一種相似文本數據集生成方法及裝置，用以解決現有相似文本數據集生成方法存在的生成效率低、相似度差等問題。

本發明的目的主要是通過以下技術方案實現的：

一方面，提供了一種相似文本數據集生成方法，包括如下步驟：

利用第一轉換模型，將原文本轉換為與所述原文本相關的第一文本集；

利用第二轉換模型，將得到的所述第一文本集中的每一文本分別轉換為與所述每一文本相關的第二文本集；

從所述第二文本集中選擇與原文本相似的文本，將所述選擇結果作為原文本的相似文本數據集；

所述第一轉換模型與所述第二轉換模型采用不同的轉換方式。

在上述方案的基礎上，本發明還做了如下改進：

進一步，所述第一轉換模型、第二轉換模型分別為翻譯方式不同的翻譯模型：

所述第一轉換模型包括多個翻譯子模型，不同的翻譯子模型翻譯側重的方向不同；利用所述多個翻譯子模型分別將原文本由原語言轉換為側重方向不同、同一中介語言表示的文本，得到由同一中介語言表述的第一文本集；

所述第二轉換模型，用于將所述第一文本集中的每一文本，由中介語言轉換為原語言，得到由原語言表述的第二文本集。

進一步，所述第一轉換模型、第二轉換模型分別為翻譯方式不同的翻譯模型：

所述第一轉換模型包括N個翻譯子模型，不同的翻譯子模型分別用于將原文本由原語言轉化為不同的中介語言，得到由多種中介語言表述的第一文本集；

所述第二轉換模型也包括N個翻譯子模型，分別與第一轉換模型中的N個翻譯子模型對應設置，不同的翻譯子模型分別用于將所述第一文本集中的每一文本由中介語言轉換為原語言，得到由原語言表述的第二文本集。

進一步，利用不同的損失函數及懲罰機制訓練所述第一轉換模型、所述第二轉換模型；

利用所述原語言與所述中介語言對應的第一平行數據訓練所述第一轉換模型；

利用所述中介語言與所述語言對應的第二平行數據訓練所述第二轉換模型；

其中，所述第一平行數據與第二平行數據為不同數據。

進一步，執行以下操作，獲取所述第二文本集中與原文本相似的文本，得到原文本的相似文本數據集：