[發明專利]基于向量空間模型的文本相似性匹配方法

無效

• 申請號: 201210593148.1
• 申請日: 2012-12-31
• 公開（公告）號: CN103049569A
• 公開（公告）日: 2013-04-17
• 發明（設計）人: 江潮
• 申請（專利權）人: 武漢傳神信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/28
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于向量空間模型的文本相似性匹配方法，包括：

提取文本的關鍵詞，對所有關鍵詞進行聚類，生成關鍵詞概念樹；

根據構建的待翻譯文本中關鍵詞的關鍵詞概念樹計算文本的相似性，按相似性的大小得到在翻譯參考文獻庫中匹配的文本。

2.如權利要求1所述的基于向量空間模型的文本相似性匹配方法，其特征在于，所述生成關鍵詞概念樹的步驟包括：

提取待分類文檔和參考庫中的所有關鍵詞，得到關鍵詞集合；

對關鍵詞集合中的關鍵詞進行聚類，把相同概念的關鍵詞聚合為一個概念類集合，根據所述概念類集合生成所述關鍵詞概念樹。

3.如權利要求2所述的基于向量空間模型的文本相似性匹配方法，其特征在于，若關鍵詞k_i出現的概率p（k_i）>P1；且有，在出現k_i的該文本中也出現關鍵詞k_j的條件概率p（k_j|k_i）>P2，則認為關鍵詞k_j和k_i表達相同概念，P1和P2為設定概率閥值。

4.如權利要求3所述的基于向量空間模型的文本相似性匹配方法，其特征在于，生成所述關鍵詞概念樹的過程具體步驟包括：

提取待分類文檔和參考庫中的所有關鍵詞，得到關鍵詞集合C={k1，k2，…，kn}，計算C中每個關鍵詞k在出現的概率，出現關鍵詞k的文本數和文本總數之比記為p（k）；

根據設定閥值過濾關鍵詞，取p_min<p（k）<p_max的關鍵詞，將其作為待合并的集合項，設符合條件的關鍵詞個數為m個，其中p_max和p_min為設定好的高低限閥值；

對過濾后得到的關鍵詞按p（k）進行降序排序，并將每一個關鍵詞作為一個集合，這樣得到初始的m個待合并集合，記為{k₁}，{k₂}，…，{k_m}；

在這m個關鍵詞中，計算在關鍵詞k_i出現的文本中關鍵詞k_j出現的概率，記為p（k_j|k_i），共計個條件概率，（1≤i，j≤m；i≠j）；p（k_j|k_i）=p（k_jk_i）/p（k_i），p（k_jk_i）為k_j和k_i同時出現在同一篇文本中的概率；

合并待合并集合，生成根節點為關鍵詞集合C的關鍵詞概念樹。

5.如權利要求4所述的基于向量空間模型的文本相似性匹配方法，其特征在于，對于待合并的兩個關鍵詞集合C1和C2，合并條件為：存在k_i屬于C1，k_j屬于C2，且p（k_i）>P1，p（k_j|k_i）>P2，當p（k_i）和p（k_j|k_i）大于所述設定閥值時，關鍵詞k_i和k_j表達相同概念，滿足其所在的集合的合并條件之一；在合并后的集合中任給一個關鍵詞k_i，其與集合中一半以上關鍵詞都滿足條件p（k_j|k_i）>P2；若兩個集合滿足以上兩個條件，則概念具有很大相似性，屬于可合并的集合，合并后生成上一層概念類集合。

6.如權利要求1所述的基于向量空間模型的文本相似性匹配方法，其特征在于，在翻譯參考文獻庫中查找匹配的文本的過程包括：提取翻譯參考文獻庫內所有文檔的關鍵詞，組成關鍵詞集合；根據所述關鍵詞概念樹的結構，通過改進的文本相似度計算公式，計算待分類文本與參考庫合中每個文本的相似性，按照相似度降序返回結果文本。

7.如權利要求6所述的基于向量空間模型的文本相似性匹配方法，其特征在于，在翻譯參考文獻庫中查找匹配的文本的過程具體步驟包括：

定義H為生成的概念樹的高度，定義depth（k）為節點k在樹中的深度，即為從根節點到該節點所經歷的邊數；

定義com（k_i，k_j）為離節點k_i和k_j最近的共同父節點，任兩個節點必有一個共同的父節點即根節點；

任兩個關鍵詞的積的計算公式：k_i×k_j=depth（com（k_i，k_j））/H；

設向量A={a₁，a₂，…，a_n}，B={b₁，b₂，…，b_n}，定義向量計算：A*B=Σi=1nΣj=1n(ai×bj);]]>

文本的相似度計算公式為：Sim(d1,d2)=d1*d2d1*d1d2*d2,]]>d1和d2表示文本向量。