[發明專利]文本模式識別方法

有效

• 申請號: 201110367595.0
• 申請日: 2011-11-18
• 公開（公告）號: CN103123685A
• 公開（公告）日: 2013-05-29
• 發明（設計）人: 吳秦;張存銓;艾迪·福勒
• 申請（專利權）人: 江南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20
• 代理公司: 無錫互維知識產權代理有限公司 32236
• 代理人: 王愛偉

【技術領域】

本發明涉及文本識別領域，尤其涉及文本模式識別方法。

【背景技術】

隨著網絡的發展和數字圖書館的出現，如何從海量的文本中快速獲取有效信息成為信息處理領域和模式識別領域的重要研究課題之一。如果我們能夠根據文本的內容對文本按照一定的分類體系進行自動分類標記，對不同的文本文件進行相似性分析，則可以更好地幫助人們組織及挖掘文本信息。

現有技術的實現方案：文本中的關鍵詞長期以來一直被用作文本文件的一個特征項。基于關鍵詞的重復頻率，我們通常用決策樹、網絡神經元、貝葉斯方法或者支撐向量機等方法對文本進行自動分類。對于不同文本之間的相似性比較，通常也是基于關鍵詞的重復頻率進行比較。

僅基于關鍵詞的重復頻率可以在一定程度上對文本進行比較粗略的大類劃分，但是當我們將該方法用于細分不同文本文件的相似性時，結果卻不是很好。這主要是因為：(1)僅利用關鍵詞的重復頻率這一方法忽略了關鍵詞與關鍵詞之間可能存在的相互依賴性。(2)傳統的方法也沒有利用文本文件的結構信息。這些都將直接影響文本文件分類結果和文本文件相似性比較結果。

因此，有必要開發出一種可以改進的文本模式識別方法來克服上述問題。

【發明內容】

本發明要解決的技術問題之一在于提供一種文本模式識別方法，其可以更多、更有效的保存了原始文本文件的特征信息，使得在進行文本分類及文本相似性計算時能得到更好的結果。

為了解決上述問題，根據本發明的一個方面，本發明提供了一種文本模式識別方法，其包括：逐行掃描原始文本文件，記錄每個關鍵詞在所述文本文件中出現的次數和位置；根據記錄的關鍵詞在所述文本文件中出現的次數和位置將所述文本文件映射為帶有多重邊的有向加權圖，其中所述帶有多重邊的有向加權圖中每個節點代表一個關鍵詞；將帶有多重邊的有向加權圖簡化為簡單有向加權圖；將所述簡單有向加權圖用矩陣來表示；和根據所獲得的矩陣及記錄的關鍵詞出現次數，將所述文本文件映射為文本特征向量。

進一步的，假設關鍵詞集為K＝{k₁，k₂，...，k_n}，關鍵字k_i在所述文本文件中出現次數為f_i，用F＝[f₁，f₂，…，f_n]表示所有關鍵詞的出現次數信息，i大于等于1小于等于n，n為大于等于1的自然數。

進一步的，帶有多重邊的有向加權圖中每個節點代表一個關鍵詞k_i，若關鍵詞k_i在所述文本文件中位置p_i出現，關鍵詞k_j在所述文本文件中位置p_j出現，且位置p_j在位置p_i之后，則在帶有多重邊的有向加權圖中加一條有向邊k_ik_j，有向邊k_ik_j的權重為p_i和p_j之間的距離，若關鍵詞k_i和關鍵詞k_j在所述文本文件中出現多次，則在帶有多重邊的有向加權圖中用同樣的方法將這些在所述文本文件中不同位置出現的關鍵詞k_i和k_j映射為多重邊，j大于等于1小于等于n。

更進一步的，將帶有多重邊的有向加權圖簡化為簡單有向加權圖包括：

將帶有多重邊的有向加權圖的節點集合作為簡單有向加權圖的節點集合；

簡單有向加權圖中從節點k_i到節點k_j之間的有向邊表示為k_ik_j，k_ik_j的權值w(k_ik_j)為：