[發明專利]重復文本的檢測方法及裝置在審
| 申請號： | 201611108388.2 | 申請日： | 2016-12-06 |
| 公開（公告）號： | CN106649221A | 公開（公告）日： | 2017-05-10 |
| 發明（設計）人： | 劉鵬;趙杰;韋強申;李強 | 申請（專利權）人： | 北京銳安科技有限公司 |
| 主分類號： | G06F17/22 | 分類號： | G06F17/22;G06F17/27 |
| 代理公司： | 北京品源專利代理有限公司11332 | 代理人： | 胡彬,鄧猛烈 |
| 地址： | 100044 北京市海淀區西小口*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 重復 文本 檢測 方法 裝置 | ||
1.一種重復文本的檢測方法，其特征在于，包括：
獲取待檢測文本；
將所述待檢測文本區分為短文本及長文本；
對所述短文本采用基于文本關聯的重復檢測；
對所述長文本采用基于局部敏感哈希算法的重復檢測。
2.根據權利要求1所述的方法，其特征在于，將所述待檢測文本區分為短文本及長文本包括：
基于規則或者分類器，將所述待檢測文本區分為短文本及長文本。
3.根據權利要求1所述的方法，其特征在于，對所述短文本采用基于文本關聯的重復檢測包括：
對所述短文本進行短文本關聯；
對關聯后的文本進行基于哈希算法的重復檢測，其中，關聯后的文本為長文本。
4.根據權利要求1所述的方法，其特征在于，對所述長文本采用基于局部敏感哈希算法的重復檢測包括：
采用局部敏感哈希算法生成所述長文本的文件指紋，并基于所述文件指紋進行重復檢測。
5.根據權利要求4所述的方法，其特征在于，所述局部敏感哈希算法包括但不限于：MinHash算法，或者SimHash算法。
6.一種重復文本的檢測裝置，其特征在于，包括：
文本獲取模塊，用于獲取待檢測文本；
文本區分模塊，用于將所述待檢測文本區分為短文本及長文本；
短文本檢測模塊，用于對所述短文本采用基于文本關聯的重復檢測；
長文本檢測模塊，用于對所述長文本采用基于局部敏感哈希算法的重復檢測。
7.根據權利要求6所述的裝置，其特征在于，所述文本區分模塊具體用于：
基于規則或者分類器，將所述待檢測文本區分為短文本及長文本。
8.根據權利要求6所述的裝置，其特征在于，所述短文本檢測模塊包括：
文本關聯單元，用于對所述短文本進行短文本關聯；
檢測單元，用于對關聯后的文本進行基于哈希算法的重復檢測，其中，關聯后的文本為長文本。
9.根據權利要求6所述的裝置，其特征在于，所述長文本檢測模塊具體用于：
采用局部敏感哈希算法生成所述長文本的文件指紋，并基于所述文件指紋進行重復檢測。
10.根據權利要求9所述的裝置，其特征在于，所述局部敏感哈希算法包括但不限于：MinHash算法，或者SimHash算法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京銳安科技有限公司，未經北京銳安科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201611108388.2/1.html，轉載請聲明來源鉆瓜專利網。
