[發(fā)明專(zhuān)利]一種基于停用詞的相似文檔查詢方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201210461090.5
• 申請(qǐng)日: 2012-11-15
• 公開(kāi)（公告）號(hào): CN102937994A
• 公開(kāi)（公告）日: 2013-02-20
• 發(fā)明（設(shè)計(jì)）人: 林述民
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京銳安科技有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11200
• 代理人: 余功勛

1.一種基于停用詞的相似文檔查詢方法，其步驟包括：

1）將待查詢的兩文檔進(jìn)行歸一化處理，去除文檔中所有非中文字字符信息；所述兩文檔，其一為待查文檔，另一取自一個(gè)或多個(gè)數(shù)據(jù)源；或兩文檔為從一個(gè)或多個(gè)數(shù)據(jù)源中提取的兩文檔，

2）根據(jù)分詞詞典對(duì)所述兩個(gè)文檔進(jìn)行分詞操作，將該些文檔轉(zhuǎn)化成詞匯流；

3）在所述詞匯流中按照書(shū)寫(xiě)習(xí)慣提取得到停用詞；

4）將所述停用詞后面的正常語(yǔ)義詞和該停用詞組合成分段信息指紋；

5）把所述分段信息指紋分別匯總形成所述兩個(gè)文檔的中指紋標(biāo)識(shí)，并放入信息指紋庫(kù)中進(jìn)行比對(duì)；

6）對(duì)所述信息指紋庫(kù)中指紋標(biāo)識(shí)相似度進(jìn)行計(jì)算，得到所述兩個(gè)文檔的相似度值；

7）將相似度值大于設(shè)定閾值的兩文檔作為相似文檔，按照設(shè)定方式輸出所有或部分相似文檔。

2.如權(quán)利要求1所述的基于停用詞的相似文檔查詢方法，其特征在于，所述分段信息指紋通過(guò)唯一記數(shù)器記錄。

3.如權(quán)利要求1所述的基于停用詞的相似文檔查詢方法，其特征在于，所述停用詞中按照書(shū)寫(xiě)習(xí)慣由左到右進(jìn)行提取同時(shí)去掉連續(xù)的重復(fù)詞。

4.如權(quán)利要求1所述的基于停用詞的相似文檔查詢方法，其特征在于，所述正常語(yǔ)義詞選用至少一個(gè)以上。

5.如權(quán)利要求1或4所述的基于停用詞的相似文檔查詢方法，其特征在于，所述正常語(yǔ)義詞選用2個(gè)。

6.如權(quán)利要求1所述的基于停用詞的相似文檔查詢方法，其特征在于，所述信息指紋庫(kù)通過(guò)用戶計(jì)算機(jī)保存至本地或上傳到遠(yuǎn)端服務(wù)器。

7.如權(quán)利要求1所述的基于停用詞的相似文檔查詢方法，其特征在于，所述停用詞通過(guò)連續(xù)提取得到。

8.如權(quán)利要求1所述的基于停用詞的相似文檔查詢方法，其特征在于，所述字符信息包括：中文標(biāo)點(diǎn)、符號(hào)亂碼。

9.如權(quán)利要求1所述的基于停用詞的相似文檔查詢方法，其特征在于，所述指紋庫(kù)中指紋標(biāo)識(shí)相似度通過(guò)jaccard相似性算法計(jì)算。

10.如權(quán)利要求1所述的基于停用詞的相似文檔查詢方法，其特征在于，所述指紋庫(kù)中指紋標(biāo)識(shí)相似度通過(guò)Euclidean?Distances或Cosine?Distance方法計(jì)算。