[發明專利]一種基于數據挖掘技術的文本多精度表示方法

有效

• 申請號: 200810079685.8
• 申請日: 2008-11-04
• 公開（公告）號: CN101436194A
• 公開（公告）日: 2009-05-20
• 發明（設計）人: 陳勇;張佳驥
• 申請（專利權）人: 中國電子科技集團公司第五十四研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于數據挖掘技術的文本多精度表示方法，用于文本檢索系統，它包括步驟：

①對文本進行分詞處理，停用詞過濾處理；

其特征在于還包括步驟：

②根據數據挖掘技術設計詞關聯挖掘算法，對分詞及停用詞過濾處理后的文本進行多層次文本特征抽取；

詞關聯挖掘算法包括步驟：給定一篇文檔D，

(1)抽取出D中所有的句子形成集合S＝{s₁，s₂，……，s_n}，其中s₁，s₂，……，s_n代表文檔中的句子；

(2)D中出現的詞構成集合C₁，統計C₁中各個詞在句子中出現的頻率，設定一個限定值R，把發生次數超過R的詞放入集合L₁中，把未能進入L₁的詞放入集合～L₁中；

(3)利用集合～L₁對S中的句子進行處理，其過程是去除每個句子中在～L₁中出現的詞組合元素，經過處理的句子形成新的集合S_new；

(4)基于S_new中的每個句子，找出句中所有兩個詞的詞組合，形成集合C₂，找出C₂中每個詞組合在句子中出現的頻率，把發生頻率次數超過R的詞組合放入L₂中，把未能進入L₂的詞組合放入～L₂中；

(5)利用集合～L₂對S中的句子進行處理，其過程是去除每個句子中在～L₂中出現的詞組合元素，經過處理的句子形成新的集合S_new；

(6)基于S_new中的每個句子，找出句中所有三個詞的詞組合，形成集合C₃，找出C₃中每個詞組合在句子中出現的頻率，把發生頻率次數超過R的詞組合放入L₃中，把未能進入L₃的詞組合放入～L₃中；

重復上述(5)、(6)步驟，直至找出所有滿足限定值R的包含n個詞的詞組合特征，放入L_n中，n為大于3的整數，

集合L₁，L₂，......，L_n中的詞組合就構成了文檔D的多層次文本特征，多層次文本特征包括單個詞特征、兩詞特征、三詞特征及n個詞的特征，n為大于3的整數；

多層次文本特征表示形式為：

單個詞特征：{Word₁}，{Word₂}；

兩詞特征：{Word₁，Word₂}，{Word₃，Word₄}；

三詞特征：{Word₁，Word₂，Word₃}，{Word₄，Word₅，Word₆}；

n個詞特征：{Word₁，Word₂，……Word_n}。