[發明專利]文章檢測方法及裝置

有效

• 申請號: 202110531324.8
• 申請日: 2021-05-17
• 公開（公告）號: CN112989793B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 楊陽
• 申請（專利權）人: 北京創新樂知網絡技術有限公司;長沙開發者科技有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/194;G06F40/216;G06F16/31
• 代理公司: 北京布瑞知識產權代理有限公司 11505
• 代理人: 孟潭

1.一種文章檢測方法，其特征在于，包括：

服務器將用戶設備發送的待檢測文章，以第一構建方式生成第一指紋，以第二構建方式生成第二指紋，其中，針對所述第一指紋設置有基于所述第一構建方式生成的多個第一索引記錄，針對所述第二指紋設置有基于所述第二構建方式生成的多個第二索引記錄；

所述服務器將所述第一指紋和所述第二指紋，分別與所述多個第一索引記錄和所述多個第二索引記錄進行相似度比較，得到第一比較結果和第二比較結果；

根據所述第一比較結果和所述第二比較結果確定所述待檢測文章的檢測結果，

其中，所述以第一構建方式生成第一指紋包括：

基于所述待檢測文章，獲取預設長度的至少一個分句；基于所述至少一個分句生成所述至少一個分句分別對應的指紋信息及權重，其中所述至少一個分句中每個分句的權重為所述分句的長度；基于所述至少一個分句分別對應的所述指紋信息及所述權重，合并生成所述待檢測文章的所述第一指紋，

所述基于所述待檢測文章，獲取預設長度的至少一個分句包括：

當所述待檢測文章的長度大于或等于第一預設閾值時，截取所述待檢測文章中長度排名前預定量的完整的句子作為所述至少一個分句；當所述待檢測文章的長度小于所述第一預設閾值且大于或等于第二預設閾值時，截取所述待檢測文章中所有的句子作為所述至少一個分句；當所述待檢測文章的長度小于所述第二預設閾值時，將所述待檢測文章整體作為一個分句，

所述以第二構建方式生成第二指紋包括：

根據所述待檢測文章中詞匯的關聯關系，提取至少一個關鍵詞；基于所述至少一個關鍵詞在所述待檢測文章中出現的頻率，確定所述至少一個關鍵詞分別對應的詞頻數，并將所述詞頻數設置為對應的所述至少一個關鍵詞的權重；基于所述至少一個關鍵詞及所述至少一個關鍵詞對應的權重，生成所述第二指紋，

所述根據所述第一比較結果和所述第二比較結果確定所述待檢測文章的檢測結果包括：

當所述第一比較結果和所述第二比較結果同為原創時，所述待檢測文章的所述檢測結果為所述原創，否則所述檢測結果為非原創，其中所述第一比較結果包括所述原創或所述非原創，所述第二比較結果包括所述原創或所述非原創，

所述第一指紋為文件指紋驗證MD5指紋，所述第二指紋為simhash指紋。

2.根據權利要求1所述的文章檢測方法，其特征在于，所述服務器將所述第一指紋和所述第二指紋，分別與所述多個第一索引記錄和所述多個第二索引記錄進行相似度比較，得到第一比較結果和第二比較結果包括：

將所述第一指紋與所述多個第一索引記錄進行相似度比較，獲得所述第一比較結果；

將所述第二指紋與所述多個第二索引記錄進行漢明距離比較，獲得所述第二比較結果，

其中所述檢測結果包括原創或非原創。

3.根據權利要求2所述的文章檢測方法，其特征在于，所述將所述第一指紋與所述多個第一索引記錄進行相似度比較，獲得第一比較結果包括：

基于所述第一指紋與所述多個第一索引記錄，獲得第一預定數量的第一索引記錄對應的至少一篇文章，其中所述至少一篇文章中與所述第一指紋最相似的為第一篇文章；

當所述第一指紋和所述第一篇文章基于所述第一構建方式生成的第三指紋相同部分的長度與所述第三指紋的長度的比值超過第一預設閾值時，生成第一索引結果；和/或

當所述第一指紋和所述至少一篇文章各自基于所述第一構建方式生成的第四指紋相同部分的長度與多個所述第四指紋的總長度的比值超過第二預設閾值時，生成第二索引結果；和/或

當所述第二指紋與所述第一篇文章基于所述第二構建方式生成的第五指紋的漢明距離超過第三預設閾值時，生成第三索引結果；

基于所述第一索引結果和/或所述第二索引結果和/或所述第三索引結果，確定所述第一比較結果，其中所述第一比較結果包括所述第一篇文章。