[發明專利]基于向量空間模型的文本相似性匹配方法

無效

• 申請號: 201210593148.1
• 申請日: 2012-12-31
• 公開（公告）號: CN103049569A
• 公開（公告）日: 2013-04-17
• 發明（設計）人: 江潮
• 申請（專利權）人: 武漢傳神信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/28
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種計算機技術，具體說，涉及一種基于向量空間模型的文本相似性匹配方法。

背景技術

現在一些常用的文本檢索模型，包括基于文字的檢索模型和基于結構的檢索模型。基于文本的檢索模型又包括：向量空間模型、近似模型、概率模型和統計語言檢索模型；基于結構的文本檢索模型又包括:內部結構檢索模型、外部結構檢索模型。

文本的相似度，即兩篇文本之間相似程度的數值度量，取兩篇文本D1、D2，若（D1∩D2）/（D1∪D2）越接近1表示兩篇文本的相似度越高，反之相反。在文本檢索技術中，相似度計算主要用于衡量文本對象之間的相似程度，在數據挖掘、自然語言處理中是一個基礎性計算。其中的關鍵技術主要是兩個部分，對象的特征表示和特征集合之間的相似關系。在信息檢索、網頁判重、推薦系統等，都涉及到對象之間或者對象和對象集合的相似性的計算。針對不同的應用場景，受限于數據規模、時空開銷等的限制，相似度計算方法的選擇又會有所區別和不同。

通常使用的計算相似度的方法是VSM（向量空間模型）。這種模型通過對文本提取關鍵詞，然后進行權值賦值，將文本表示成由權重不同的關鍵詞構成的向量，通過計算兩個文本的向量距離從而得到文本的相似度。

由于關鍵詞很可能存在同義詞、一詞多義等現象，所以用傳統的向量空間模型方法得到的相似度計算結果精度不高，結果往往并不令人滿意；關鍵詞加權算法僅僅是尋求文本和關鍵詞之間的關系，不能橫向地聯系不同文本間關鍵詞之間的關系，給文本檢索帶來了如下問題：

（1）關鍵詞不能準確表達用戶需求。

用戶很難選擇準確的關鍵詞來進行搜索，因為其中涉及到查詢和概念之間的語義映射問題。用戶給出的查詢關鍵詞不能很好地反映用戶的意圖。

（2）關鍵詞不能反映文本內容。

如果關鍵詞外延太大，就很難或者無法檢索到相關文本。

（3）一詞多義現象。

由于關鍵詞匹配技術很難解決一詞多義現象，往往會檢索出大量無關信息。

（4）關鍵詞以同義方式在文中出現。

用戶的查詢關鍵詞有時并不在文中直接出現，而是以同義詞、近義詞或者關鍵詞的其他構詞方式出現，這樣，文本就不能檢索到。當查詢關鍵詞與文本主題詞構成概念上下位關系時，則更加難以檢索到。

發明內容

本發明所解決的技術問題是提供一種基于向量空間模型的文本相似性匹配方法，相對準確反映了文本之間的聯系，這樣可以更加充分地反映文本的相似度。

技術方案如下：

一種基于向量空間模型的文本相似性匹配方法，包括：

提取文本的關鍵詞，對所有關鍵詞進行聚類，生成關鍵詞概念樹；

根據構建的待翻譯文本中關鍵詞的關鍵詞概念樹計算文本的相似性，按相似性的大小得到在翻譯參考文獻庫中匹配的文本。

進一步，所述生成關鍵詞概念樹的步驟包括：

提取待分類文檔和參考庫中的所有關鍵詞，得到關鍵詞集合；

對關鍵詞集合中的關鍵詞進行聚類，把相同概念的關鍵詞聚合為一個概念類集合，根據所述概念類集合生成所述關鍵詞概念樹。

進一步，若關鍵詞k_i出現的概率p（k_i）>P1；且有，在出現k_i的該文本中也出現關鍵詞k_j的條件概率p（k_j|k_i）>P2，則認為關鍵詞k_j和k_i表達相同概念，P1和P2為設定概率閥值。

進一步，生成所述關鍵詞概念樹的過程具體步驟包括：

提取待分類文檔和參考庫中的所有關鍵詞，得到關鍵詞集合C={k1，k2，…，kn}，計算C中每個關鍵詞k在參考庫中出現的概率p（k），即出現關鍵詞k的文本數和集合中文本總數之比；

根據設定閥值過濾關鍵詞，取p_min<p（k）<p_max的關鍵詞，將其作為待合并的集合項，設符合條件的關鍵詞個數為m個，其中p_max和p_min為設定好的高低限閥值；

對過濾后得到的關鍵詞按p（k）進行降序排序，并將每一個關鍵詞作為一個集合，這樣得到初始的m個待合并集合，記為{k₁}，{k₂}，….，{k_m}；