[發(fā)明專利]一種基于上下文關(guān)聯(lián)的中文相似性比較方法

無效

• 申請?zhí)枺?/td>: 201110303533.3
• 申請日: 2011-10-09
• 公開（公告）號: CN102314418A
• 公開（公告）日: 2012-01-11
• 發(fā)明（設(shè)計）人: 趙長海;晏海華;郎鈺澤
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京永創(chuàng)新實專利事務(wù)所 11121
• 代理人: 周長琪

技術(shù)領(lǐng)域

本發(fā)明涉及中文相似性比較技術(shù)領(lǐng)域，具體是一種基于上下文關(guān)聯(lián)的中文相似性比較方法。

背景技術(shù)

中文相似性比較技術(shù)廣泛應(yīng)用于抄襲檢測、信息檢索、機(jī)器翻譯、文本挖掘、網(wǎng)頁去重等領(lǐng)域，因為計算機(jī)對自然語言，尤其是中文的理解很困難，所以一直是人們研究的熱點和難點。

相似性比較方法的目的是判斷兩篇文本是否“相似”。這里所說的“相似”，應(yīng)該是指語義層面的所謂的“形不似而神似”。即兩篇“相似”的文章，在經(jīng)過(1)語法結(jié)構(gòu)改變；(2)語序調(diào)換；(3)部分詞語替換；(4)加入其他內(nèi)容之后，仍然能檢測出其相關(guān)性。其相似度大小取決于相似片段長度、改動程度等因素。

目前文本相似性比較廣泛采用基于詞頻統(tǒng)計的方法，該方法基于VSM(向量空間模型)，對粒度設(shè)置很敏感，粒度過小則會將大量不相關(guān)的片段判定為相似，粒度過大則會產(chǎn)生大量漏判。使用基于詞頻統(tǒng)計的方法的技術(shù)包括SCAM(N?Shivakumar，H?Garcia-Molina，SCAM：A?Copy?Detection?Mechanism?for?Digital?Documents，1995)、CHECK(Antonio?Si?Hong?Va?Leong?Rynson?W.H.Lau，CHECK：A?Document?Plagiarism?Detection?System，1997)等。

上述基于VSM的中文相似性比較方法是把一篇文本或其中的一個粒度單位作為一個向量，其中的每一個詞或字作為該向量的一個維；這個詞或字出現(xiàn)的次數(shù)即為該向量在該維度上的值。這種方法相當(dāng)于把一個粒度范圍內(nèi)的文本完全拆散成為孤立的字或詞，而忽略了這些字或詞之間的上下文關(guān)聯(lián)。然而在判定兩篇文本是否相似的時候，其上下文經(jīng)常會提供重要的信息。現(xiàn)有的這些方法并沒有充分利用這些上下文信息。

有關(guān)VSM的知識可以參考N?Shivakumar，H?Garcia-Molina的論文：SCAM：A?Copy?Detection?Mechanism?for?Digital?Documents。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有基于VSM的中文相似性比較方法并沒有充分利用上下文信息進(jìn)行比較的問題，提出了一種基于上下文關(guān)聯(lián)的中文相似性比較方法。

本發(fā)明一種基于上下文關(guān)聯(lián)的中文相似性比較方法，具體包括以下步驟：

步驟1、首先將要進(jìn)行比較的兩篇文本的文本流進(jìn)行分詞，然后為每一個文本建立倒排表，具體是：通過詞匯內(nèi)容建立索引，將詞匯本身作為索引的鍵，詞匯在文本中的位置作為索引值；步驟2、對倒排表進(jìn)行相似性檢測，得到可疑相似片段(suspicious?fragment)；步驟3、對可疑相似片段進(jìn)行聚合，得到最終的相似文本塊(Similar?Chunk)及該相似文本塊的相似度。

所述的步驟2具體又包括：

步驟2.1、首先使用倒排表對中心詞進(jìn)行映射：若詞X同時在文本S的倒排表和文本D的倒排表中出現(xiàn)，則在文本S的倒排表和文本D的倒排表中建立詞X的關(guān)系映射，并得到以詞X作為中心詞、以r作為半徑，長度n＝2r+1的一對可疑相似片段；步驟2.2、以n個詞作為一個粒度對兩篇文本S和D進(jìn)行相似性檢測，并確定每一對可疑相似片段的相似度；

步驟2.3、確定文本S和文本D的相似值R_S，D表示文本S對文本D的相似度，R_D，S表示文本D對文本S的相似度。

所述的步驟3中生成相似文本塊，是針對文本S中每個核心可疑相似片段，進(jìn)行下面過程：尋找該核心可疑相似片段的直接密度可達(dá)集合，將生成的直接密度可達(dá)集合中的核心可疑相似片段的最小的起始位置索引號作為所要生成的相似文本塊的起始位置，最大的終止位置索引號作為所要生成的相似文本塊的結(jié)束位置。

本發(fā)明的優(yōu)點與積極效果在于：本發(fā)明方法先發(fā)現(xiàn)較小可疑相似片段，再對可疑相似片段進(jìn)行聚合，減少了空間向量模型中粒度大小與誤判、漏判率之間的矛盾。

附圖說明

圖1是本發(fā)明的中文相似性比較方法的整體步驟流程圖；

圖2是本發(fā)明方法步驟二中使用倒排表對中心詞進(jìn)行映射的示意圖；

圖3是一個可疑相似片段的數(shù)據(jù)結(jié)構(gòu)所包含的信息。

具體實施方式

下面將結(jié)合附圖和實施例對本發(fā)明的技術(shù)方案作進(jìn)一步的詳細(xì)說明。

本發(fā)明的基于上下文關(guān)聯(lián)的中文相似性比較方法，如圖1所示，具體包括以下步驟：

步驟一、讀取要進(jìn)行比較的文本S和文本D，將兩篇文本的文本流(Text?Stream)進(jìn)行分詞和索引。