[發(fā)明專利]一種基于關(guān)鍵詞位置結(jié)構(gòu)分布的文檔相似性度量方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910406179.3
• 申請(qǐng)日: 2019-05-16
• 公開（公告）號(hào): CN110175220B
• 公開（公告）日: 2023-02-17
• 發(fā)明（設(shè)計(jì)）人: 陸介平;倪巍偉;楊春立;李愛東
• 申請(qǐng)（專利權(quán)）人: 鎮(zhèn)江市高等專科學(xué)校
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F40/289;G06F40/258
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 王恒靜

本發(fā)明公開了一種基于關(guān)鍵詞位置結(jié)構(gòu)分布的文檔相似性度量方法，包括：存儲(chǔ)兩篇文檔W₁與W₂，文檔W₁與W₂均具有多個(gè)自然段；設(shè)置任意目標(biāo)關(guān)鍵詞集合，在文檔W₁與W₂內(nèi)查找每個(gè)關(guān)鍵詞出現(xiàn)的所有段落編號(hào)和位置信息，并分別采用三元組進(jìn)行標(biāo)注；根據(jù)所述段落編號(hào)和位置信息分別生成各個(gè)關(guān)鍵詞分別在文檔W₁與W₂中的位置分布序列；根據(jù)所述各個(gè)關(guān)鍵詞分別在文檔W₁與W₂中的位置分布序列計(jì)算每個(gè)關(guān)鍵詞在文檔W₁與W₂中位置分布序列的相似度，進(jìn)而得到兩篇文檔的加權(quán)相似度。本發(fā)明提出文檔相似性度量方法，有利于規(guī)避文檔詞句語義角度度量相似性的偏差，本發(fā)明也可以規(guī)避已有方法中的從關(guān)鍵詞角度度量相似性時(shí)，對(duì)關(guān)鍵詞在文檔全文分布結(jié)構(gòu)特征提取的不足，實(shí)用性更強(qiáng)，準(zhǔn)確率更高。

技術(shù)領(lǐng)域

本發(fā)明涉及文檔相似度度量技術(shù)領(lǐng)域，具體涉及一種基于關(guān)鍵詞位置結(jié)構(gòu)分布的文檔相似性度量方法及系統(tǒng)。

背景技術(shù)

文檔間相似性分析計(jì)算在信息檢索、數(shù)據(jù)挖掘、機(jī)器翻譯、文檔復(fù)制檢測(cè)等領(lǐng)域有著廣泛的應(yīng)用。常見的文檔相似度計(jì)算方法簡(jiǎn)介如下：余弦相似性，基于關(guān)鍵詞將文檔轉(zhuǎn)換為向量模型，通過計(jì)算文檔的余弦相似度進(jìn)行度量；簡(jiǎn)單共有詞法，通過計(jì)算兩篇文檔共有的詞的總字符數(shù)除以最長(zhǎng)文檔字符數(shù)來評(píng)估文檔相似度。編輯距離，又稱Levenshtein距離，利用將文檔中兩個(gè)字串，由一個(gè)轉(zhuǎn)成另一個(gè)所需的最少編輯操作次數(shù)進(jìn)行度量。SimHash+漢明距離，將文檔轉(zhuǎn)換成64位的字節(jié)，然后通過判斷兩個(gè)字節(jié)的漢明距離計(jì)算相似度。Jaccard相似性系數(shù)法，通過比較樣本集中的相似性和分散性的概率進(jìn)行度量。但上述方法均會(huì)存在文檔詞句語義角度度量相似性的偏差以及關(guān)鍵詞在文檔全文分布結(jié)構(gòu)特征提取的不足的問題。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于關(guān)鍵詞位置結(jié)構(gòu)分布的文檔相似性度量方法，該方法可以解決文檔詞句語義角度度量相似性的偏差的問題；也可以規(guī)避已有方法從關(guān)鍵詞角度度量相似性時(shí)，對(duì)關(guān)鍵詞在文檔全文分布結(jié)構(gòu)特征提取的不足的問題，本發(fā)明還提供一種基于關(guān)鍵詞位置結(jié)構(gòu)分布的文檔相似性度量系統(tǒng)。

技術(shù)方案：本發(fā)明所述的基于關(guān)鍵詞位置結(jié)構(gòu)分布的文檔相似性度量方法，該方法包括：

(1)存儲(chǔ)兩篇文檔W₁與W₂，所述文檔W₁與W₂均具有多個(gè)自然段，將所述存儲(chǔ)的兩篇文檔W₁與W₂分別進(jìn)行分詞和停用詞處理；

(2)設(shè)置任意目標(biāo)關(guān)鍵詞集合，在文檔W₁與W₂內(nèi)查找每個(gè)關(guān)鍵詞出現(xiàn)的所有段落編號(hào)和位置信息，并分別采用三元組進(jìn)行標(biāo)注；

(3)根據(jù)所述段落編號(hào)和位置信息分別生成各個(gè)關(guān)鍵詞分別在文檔W₁與W₂中的位置分布序列；

(4)根據(jù)所述各個(gè)關(guān)鍵詞分別在文檔W₁與W₂中的位置分布序列計(jì)算每個(gè)關(guān)鍵詞在文檔W₁與W₂中位置分布序列的相似度，進(jìn)而得到文檔W₁與W₂的加權(quán)相似度。

優(yōu)選的，所述步驟(2)中，所述位置的計(jì)算方法為：若所述關(guān)鍵詞s_i所在某自然段的總字?jǐn)?shù)為sum；所述自然段中的所述關(guān)鍵詞s_i之前的字?jǐn)?shù)記為precount，則所述關(guān)鍵詞s_i在所述段落的位置為y＝precount/sum。

優(yōu)選的，所述步驟(3)中，關(guān)鍵詞s_i在文檔W₁中的位置分布序列表示為：