[發(fā)明專利]一種基于語義分析的文檔查重方法和裝置

有效

• 申請?zhí)枺?/td>: 201810488412.2
• 申請日: 2018-05-21
• 公開（公告）號: CN108804418B
• 公開（公告）日: 2022-03-08
• 發(fā)明（設(shè)計）人: 王樂;石園
• 申請（專利權(quán)）人: 浪潮軟件股份有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/30;G06F40/194
• 代理公司: 濟南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 李世喆

1.一種基于語義分析的文檔查重方法，其特征在于，包括：

確定待查重文檔和對比文檔；

根據(jù)預(yù)設(shè)的格式標(biāo)準(zhǔn)，對所述待查重文檔、所述對比文檔進行格式轉(zhuǎn)換；

對經(jīng)過格式轉(zhuǎn)換的所述待查重文檔、所述對比文檔進行分詞；

根據(jù)所述待查重文檔的分詞結(jié)果和所述對比文檔的分詞結(jié)果，進行同義詞歸并，確定第一相似度；

根據(jù)所述待查重文檔的分詞結(jié)果和所述對比文檔的分詞結(jié)果，進行聚類分析，確定第二相似度；

根據(jù)所述第一相似度和所述第二相似度，確定所述待查重文檔與所述對比文檔的重復(fù)率；

所述根據(jù)所述待查重文檔的分詞結(jié)果和所述對比文檔的分詞結(jié)果，進行同義詞歸并，確定第一相似度，包括：

根據(jù)所述待查重文檔的分詞結(jié)果和所述對比文檔的分詞結(jié)果，確定同時存在于所述待查重文檔、所述對比文檔中的第一詞的數(shù)量；

確定所述待查重文檔中第二詞的數(shù)量，其中，所述第二詞在所述對比文檔中存在同義詞；

根據(jù)所述第一詞的數(shù)量和所述第二詞的數(shù)量，利用下述第一公式，計算所述第一相似度；

所述第一公式，包括：

其中，p用于表征所述第一相似度，x用于表征所述第一詞的數(shù)量，y用于表征所述第二詞的數(shù)量，z用于表征所述待查重文檔中詞的總數(shù)；

所述根據(jù)所述待查重文檔的分詞結(jié)果和所述對比文檔的分詞結(jié)果，進行聚類分析，確定第二相似度，包括：

根據(jù)所述待查重文檔的分詞結(jié)果，按照詞頻由高到低的順序，在所述待查重文檔中確定目標(biāo)數(shù)量的第一高頻詞；

根據(jù)所述對比文檔的分詞結(jié)果，按照詞頻由高到低的順序，在所述對比文檔中確定所述目標(biāo)數(shù)量的第二高頻詞；

確定所述待查重文檔中包括所述第一高頻詞的至少一個第一語句；

確定所述對比文檔中包括所述第二高頻詞的至少一個第二語句；

確定同時存在于所述至少一個第一語句和所述至少一個第二語句中的第三詞的數(shù)量；

確定所述至少一個第一語句中第四詞的數(shù)量，其中，所述第四詞在所述至少一個第二語句中存在同義詞；

根據(jù)所述第三詞的數(shù)量和所述第四詞的數(shù)量，利用下述第二公式，計算所述第二相似度；

所述第二公式，包括：

其中，k用于表征所述第二相似度，m用于表征所述第三詞的數(shù)量，n用于表征所述第四詞的數(shù)量，h用于表征所述至少一個第一語句中詞的總數(shù)。

2.根據(jù)權(quán)利要求1所述的基于語義分析的文檔查重方法，其特征在于，

所述根據(jù)所述第一相似度和所述第二相似度，確定所述待查重文檔與所述對比文檔的重復(fù)率，包括：

根據(jù)所述第一相似度和所述第二相似度，利用下述第三公式，計算所述待查重文檔與所述對比文檔的重復(fù)率；

所述第三公式，包括：

q＝αp+βk

其中，q用于表征所述待查重文檔與所述對比文檔的重復(fù)率，α用于表征所述第一相似度的權(quán)重，p用于表征所述第一相似度，β用于表征所述第二相似度的權(quán)重，k用于表征所述第二相似度。

3.根據(jù)權(quán)利要求2所述的基于語義分析的文檔查重方法，其特征在于，進一步包括：

根據(jù)所述待查重文檔的分詞結(jié)果、所述對比文檔的分詞結(jié)果、所述第一詞和所述第二詞，生成重疊圖；

展示所述重疊圖；

當(dāng)接收到針對所述重疊圖中任意一個所述第一詞的點擊操作時，突出顯示所述待查重文檔和所述對比文檔中包含所述第一詞的句子；或，當(dāng)接收到針對所述重疊圖中任意一個所述第二詞的點擊操作時，突出顯示所述待查重文檔中包含所述第二詞的句子和所述對比文檔中包含所述第二詞的同義詞的句子。