[發明專利]文本匹配方法、裝置、計算機系統及可讀存儲介質

有效

• 申請號: 201910703715.6
• 申請日: 2019-07-31
• 公開（公告）號: CN112395856B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 葛鑫;施楊斌;趙宇;駱衛華
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/284;G06F40/289;G06F40/58
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 呂雁葭;宋海龍

本公開實施例公開了一種文本匹配方法、裝置、計算機系統及可讀存儲介質，所述文本匹配方法包括：獲取第一文本和第二文本的數據；通過處理所述第一文本和第二文本的數據，確定所述第一文本與所述第二文本中的n連詞的重合程度，其中，所述n連詞包含n個連續詞，n≥1；至少根據所述第一文本與所述第二文本中的n連詞的重合程度，確定所述第一文本和所述第二文本是否為潛在匹配文本對。

技術領域

本公開涉及計算機技術領域，具體涉及一種文本匹配方法、裝置、計算機系統及可讀存儲介質。

背景技術

隨著全球化進程的繼續深入，對于語言之間翻譯的需求越來越多，機器翻譯發揮著越來越大的作用。在機器翻譯中，雙語平行語料對于訓練機器翻譯模型有著非常重要的作用。語料系統的建設最早來源于新聞機構和政府機構提供的雙語語料等。隨著互聯網的飛速發展以及全球化的深化，從互聯網獲取的雙語語料成了各個語料系統的重要來源。互聯網上的雙語語料具有數量巨大、語法真實、語料種類豐富、易獲取等特性，所以已經成為今年來各語料系統最重要的語料來源。其中，對下載網頁進行網頁匹配，找到潛在匹配的網頁對是非常關鍵的步驟。

在提出本公開的過程中，發明人發現，在真實的語料系統中，網頁的數目極其龐大，可以達到數百億的量級，網頁匹配的工作量十分巨大。而且，隨著網絡上的網頁數越來越多，每次對有網頁更新的站點進行一次全量的網頁匹配會浪費過多的機器資源，甚至在有限的機器資源下根本無法做到全量有更新站點的網頁匹配，這會嚴重影響語料系統的穩步建設和增長。

發明內容

為了解決相關技術中的問題，本公開實施例提供一種文本匹配方法、裝置、計算機系統及可讀存儲介質。

第一方面，本公開實施例中提供了一種文本匹配方法。

具體地，所述文本匹配方法，包括：獲取第一文本和第二文本的數據；

通過處理所述第一文本和第二文本的數據，確定所述第一文本與所述第二文本中的n連詞的重合程度，其中，所述n連詞包含n個連續詞，n≥1；

至少根據所述第一文本與所述第二文本中的n連詞的重合程度，確定所述第一文本和所述第二文本是否為潛在匹配文本對。

結合第一方面，本公開在第一方面的第一種實現方式中，所述n連詞至少包括N1連詞N2連詞，其中，N1≠N2。

結合第一方面，本公開在第一方面的第二種實現方式中，所述確定所述第一文本與所述第二文本中的n連詞的重合程度，包括：

根據同時出現在所述第一文本和所述第二文本中的n連詞個數，確定所述第一文本與所述第二文本中的n連詞的重合程度。

結合第一方面，本公開在第一方面的第三種實現方式中，所述第一文本是從第一語言的第一原始文本轉換得到的；和/或

所述第二文本是從第二語言的第二原始文本轉換得到的；和/或

所述第一語言和所述第二語言是不同的語言；和/或

所述第一文本和所述第二文本是所述第二語言的文本。

結合第一方面的第三種實現方式，本公開在第一方面的第四種實現方式中，對所述第一原始文本的轉換包括對所述第一原始文本進行以下至少一種處理：分詞、以詞粒度從所述第一語言翻譯為所述第二語言、去停用詞；和/或

對所述第二原始文本的轉換包括對所述第二原始文本進行以下至少一種處理：分詞、去停用詞。

結合第一方面的第三種實現方式，本公開在第一方面的第五種實現方式中，所述第一原始文本是所述第一語言的當前原始文本集合中相比于所述第一語言的存量原始文本而言的增量原始文本，所述第二原始文本是所述第二語言的當前原始文本集合中的增量原始文本或存量原始文本；或者