[發(fā)明專利]一種基于核函數(shù)的文檔相似檢測方法

有效

• 申請?zhí)枺?/td>: 201210105942.7
• 申請日: 2012-04-11
• 公開（公告）號: CN102651034A
• 公開（公告）日: 2012-08-29
• 發(fā)明（設計）人: 王秀紅;鞠時光
• 申請（專利權）人: 江蘇大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 南京知識律師事務所 32207
• 代理人: 盧亞麗

1.一種基于核函數(shù)的文檔相似檢測方法，其特征包括以下步驟：

輸入及預處理步驟：構造文檔集合，即文集，文集中所有的詞項組成的集合為詞典，大小為N；將待比對的文檔dX和dZ經(jīng)過特征映射后進行向量表示成文本向量x和z；

核函數(shù)構造步驟：結合文檔相似檢測過程中的具體實際，通過兩文本向量間的乘積和歐氏距離來描述二者的相似程度，從而構造適合文檔相似檢測的新的S_Wang核函數(shù)k(x,z)=xTzxTz+||x-z||2σ;]]>

相似計算步驟：通過構造的核函數(shù)計算文本的相似度，從而進行文檔相似檢測。

2.如權利要求1所述的基于核函數(shù)的文檔相似檢測方法，其特征在于所述的核函數(shù)構造步驟具體如下：

2a)當詞典中某一詞t_i在某一篇文檔中未出現(xiàn)，即對應的向量維數(shù)位置值為0，則認為該詞對兩篇文檔相似的貢獻值為0，如果待比對的兩篇文檔沒有共同的詞，則認為該兩篇文檔的相似度為0，于是考慮利用兩個行向量對應維數(shù)相乘xz^T的形式來計算其相似度，作為構造的核函數(shù)的分子；

2b)當某一詞t_i在兩篇待比對的文檔中詞頻統(tǒng)計結果差值|tf(t_i，x)-tf(t_i，z)|越大，表明兩篇文檔越不相似，該詞t_i使相似程度的計算結果越小，用||x-z||²表明兩篇文檔之間由于詞語不同產(chǎn)生的歐氏距離，且將其置于構造的核函數(shù)的分母上；

2c)當兩篇文檔dX和dZ完全相同，則有x＝z，此時有||x-z||＝0，且有xz^T＝1；

當兩篇文檔完全相同的時候其相似度計算值應為1，于是考慮構造的核函數(shù)的分母形式為xz^T+||x-z||²；

2d)用寬度參數(shù)σ(σ＞0)來控制函數(shù)的徑向作用范圍，調節(jié)由于詞語不同導致兩篇文檔距離對相似度的影響程度。

3.如權利要求1所述的基于核函數(shù)的文檔相似檢測方法，其特征在于所述輸入及預處理步驟中的的特征映射為φ₁

φ₁：x→φ₁(x)＝(tf(t₁，x)，tf(t₂，x)，...，tf(t_N，x))∈R^N，

φ₁：z→φ₁(z)＝(tf(t₁，z)，tf(t₂，z)，...，tf(t_N，z))∈R^N。