[發(fā)明專利]一種基于文件相似度的排重方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201410421951.6
• 申請(qǐng)日: 2014-08-25
• 公開（公告）號(hào): CN104216968A
• 公開（公告）日: 2014-12-17
• 發(fā)明（設(shè)計(jì)）人: 易喬治;管晏
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京捷誠(chéng)信通專利事務(wù)所(普通合伙) 11221
• 代理人: 魏殿紳;龐炳良

技術(shù)領(lǐng)域

本發(fā)明涉及文字相似度的計(jì)算和檢測(cè)領(lǐng)域，具體涉及一種基于文件相似度的排重方法及系統(tǒng)。

背景技術(shù)

文件相似度計(jì)算方法是一種利用文件自身的信息(文件內(nèi)容和連接信息)，進(jìn)行分析和計(jì)算出文件的相似度方法。隨著時(shí)代的進(jìn)步，文件相似度計(jì)算方法已經(jīng)廣泛的應(yīng)用到各個(gè)領(lǐng)域(例如信息檢索、協(xié)同推薦系、圖書館分類系統(tǒng)等相關(guān)領(lǐng)域)。

現(xiàn)有的檢測(cè)文件相似度的方法一般包括以下步聚：

(1)對(duì)提交的文件集合中每個(gè)文件進(jìn)行基本簡(jiǎn)化處理后，將每個(gè)文件分割成連續(xù)的標(biāo)記塊；在標(biāo)記塊中保留一定數(shù)量的代表性標(biāo)記塊；將代表性標(biāo)記塊制成獨(dú)有的代表指紋，利用不同的代表指紋對(duì)不同的文件進(jìn)行簽名。

(2)判斷2份文件的簽名的指紋是否相同，若是，則所述2份文件相互關(guān)聯(lián)，屬于相似文件，否則所述2份文件沒有關(guān)聯(lián)，不屬于相似文件。

但是，現(xiàn)有的檢測(cè)文件相似度的方法使用時(shí)，存在以下缺陷：

現(xiàn)有的檢測(cè)文件相似度的方法主要針對(duì)西方語(yǔ)言(例如英文)，由于進(jìn)行標(biāo)記塊的分割時(shí)，中文的中文詞組的分割完全不同于英文，因此，現(xiàn)有的檢測(cè)文件相似度的方法無(wú)法對(duì)東方語(yǔ)言(例如中文)進(jìn)行處理，其適用范圍比較單一，我國(guó)無(wú)法使用。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的在于提供一種基于文件相似度的排重方法及系統(tǒng)，不僅能夠適用于中國(guó)文字，便于國(guó)內(nèi)用戶使用，而且比對(duì)相似文件的精準(zhǔn)度較高。

為達(dá)到以上目的，本發(fā)明采取的技術(shù)方案是：一種基于文件相似度的排重方法，包括以下步驟：

A、抽取需要比對(duì)的文件，生成純文字；

B、對(duì)純文字進(jìn)行規(guī)范化處理，生成規(guī)范文字單元；文字單元包括段落、句子和關(guān)鍵詞；

C、將規(guī)范文字單元進(jìn)行編碼，通過編碼算法生成一種固定長(zhǎng)度、且不可逆轉(zhuǎn)的代表碼；

D、對(duì)需要比對(duì)的文件的代表碼的關(guān)鍵詞進(jìn)行抽取，生成關(guān)鍵詞序列；根據(jù)需要比對(duì)的句子的關(guān)鍵詞序列，計(jì)算需要比對(duì)的句子的詞形相似度和詞序相似度；根據(jù)需要比對(duì)的句子的詞形相似度和詞序相似度，計(jì)算需要比對(duì)的句子的相似度；根據(jù)句子的相似度計(jì)算需要比對(duì)的文件的相似度。

在上述技術(shù)方案的基礎(chǔ)上，步驟B中所述對(duì)純文字進(jìn)行規(guī)范化處理，生成規(guī)范文字單元包括以下步驟：

B1、將純文字分拆為文字單元；

B2、對(duì)文字單元進(jìn)行規(guī)范化處理；

B3、去除規(guī)范化處理后的文字單元中的無(wú)意義信息，生成規(guī)范文字單元。

在上述技術(shù)方案的基礎(chǔ)上，步驟B3中所述無(wú)意義信息包括沒有實(shí)質(zhì)意義的文字。

在上述技術(shù)方案的基礎(chǔ)上，步驟C中的編碼算法包括單向散列MD5算法、數(shù)據(jù)加密SHA-1算法和雜湊函數(shù)SHA-2算法中的至少一種。

在上述技術(shù)方案的基礎(chǔ)上，步驟D中所述對(duì)需要比對(duì)的文件的代表碼的關(guān)鍵詞進(jìn)行抽取，生成關(guān)鍵詞序列時(shí)，包括以下步驟：

D1、選擇代表碼的句子中的任一關(guān)鍵詞；

D2、判斷該關(guān)鍵詞是否為名詞、代詞、動(dòng)詞和形容詞中的任意一種，若是，抽取w，轉(zhuǎn)到步驟D3；否則選擇下一個(gè)關(guān)鍵詞，并重新執(zhí)行步驟D2；

D3、將所有抽取的關(guān)鍵詞組成當(dāng)前句子的關(guān)鍵詞序列。

在上述技術(shù)方案的基礎(chǔ)上，步驟D中所述根據(jù)需要比對(duì)的句子的關(guān)鍵詞序列，計(jì)算需要比對(duì)的句子的詞形相似度的計(jì)算公式如下：

Sim_word(S1,S2)＝2·(Same_word(S1,S2)/(LenS1+LenS2)；

其中Sim_word(S1,S2)為需要比對(duì)的句子S1、S2的詞形相似度，Same_word(S1,S2)為S1、S2中所含相同詞或同義詞的個(gè)數(shù)，LenS1為S1中所含關(guān)鍵詞的個(gè)數(shù)，LenS2為S2中所含關(guān)鍵詞的個(gè)數(shù)。

在上述技術(shù)方案的基礎(chǔ)上，步驟D中計(jì)算需要比對(duì)的句子的詞序相似度的計(jì)算公式如下：