[發(fā)明專利]一種面向文本數據庫的矩陣加權負模式挖掘方法

有效

• 申請?zhí)枺?/td>: 201310244012.4
• 申請日: 2013-06-19
• 公開（公告）號: CN103279570A
• 公開（公告）日: 2013-09-04
• 發(fā)明（設計）人: 黃名選;黃發(fā)良
• 申請（專利權）人: 廣西教育學院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣西南寧公平專利事務所有限責任公司 45104
• 代理人: 黃永校

1.一種面向文本數據庫的矩陣加權負模式挖掘方法，其特征在于，包括如下步驟：

（1）文本預處理階段：

將待處理的文本信息進行分詞、去除停用詞、提取特征詞并計算其權值，構建基于向量空間模型的文本數據庫和特征詞庫；

（2）矩陣加權頻繁項集和負項集挖掘階段，包括以下步驟A和步驟B：

A、從文本數據庫中提取矩陣加權候選1_項集，并挖掘矩陣加權頻繁1_項集和負1_項集；具體步驟按照A1～A3進行：

A1、從文本數據庫中提取矩陣加權候選1_項集；

A2、累加矩陣加權候選1_項集在文本數據庫中的權值總和及其支持數，計算其支持度和矩陣加權1_項集k權值估計；

A3、將矩陣加權候選1_項集中支持度大于或等于最小支持度閾值的矩陣加權頻繁1_項集加入到頻繁項集集合；將矩陣加權候選1_項集中支持度小于最小支持度閾值的矩陣加權負1_項集加入到負項集集合；將其權值總和小于矩陣加權1_項集k權值估計的矩陣加權候選1_項集加入到矩陣加權項集k權值估計負1_項集集合中；

B、從候選2_項集開始，按照步驟B1～B9進行操作：

B1、將候選(i-1)_項集進行Apriori連接，生成矩陣加權候選i_項集；所述的i≥2；

B2、從矩陣加權候選i_項集提取含有矩陣加權k權值估計負項集的矩陣加權負i_項集，并在文本數據庫中累加其支持數，將其支持數不為0的項集加入負項集集合；

B3、從矩陣加權候選i_項集中刪除B2步驟的矩陣加權負i_項集，得到新的矩陣加權候選i_項集，并判斷新的矩陣加權候選i_項集是否為空集，若為空集，則結束挖掘矩陣加權正負項集模式，并直接進入步驟（3），否則，轉入B4步驟；

B4、計算新的矩陣加權候選i_項集在文本數據庫中的支持數；

B5、刪除新的矩陣加權候選i_項集中支持數為0的項集；

B6、累加新的矩陣加權候選i_項集中每個候選i_項集在文本數據庫中的權值總和，計算其支持度和矩陣加權k權值估計；

B7、若新的矩陣加權候選i_項集中的候選i_項集支持度小于最小支持度閾值，提取該候選i_項集為矩陣加權負i_項集加入矩陣加權負項集集合中，否則，作為矩陣加權頻繁i_項集加入到矩陣加權頻繁項集集合中；

B8、將新的矩陣加權候選i_項集中其權值總和小于其矩陣加權k權值估計的候選i_項集加入到矩陣加權項集k權值估計負i_項集集合中；

B9、將i的值加1，繼續(xù)B1～B8步驟，直至項集挖掘完畢；

（3）矩陣加權強負關聯規(guī)則模式挖掘階段，包括以下步驟a和步驟b：

a、挖掘矩陣加權頻繁項集中的矩陣加權強負關聯規(guī)則模式，具體步驟按照a1～a4進行：

a1、求出矩陣加權頻繁項集的所有真子集；

a2、當頻繁項集的真子集中的任意兩個真子集I₁和I₂的交集為空集，且真子集I₁和I₂的項目個數之和等于其原頻繁項集的項目個數，則計算它們的矩陣加權相關度；

a3、當矩陣加權相關度<1，并且I₁、I₂、I₁∪﹁I₂和﹁I₁∪I₂的矩陣加權支持度都不小于矩陣加權最小支持度閾值，I₁∪﹁I₂和﹁I₁∪I₂的置信度都不小于矩陣加權最小置信度閾值，則得到矩陣加權負關聯規(guī)則I₁→﹁I₂和﹁I₁→I₂；

a4、當矩陣加權相關度>1，且I₁、I₂、I₁∪I₂和﹁I₁∪﹁I₂的矩陣加權支持度都不小于矩陣加權最小支持度閾值，I₁∪I₂和﹁I₁∪﹁I₂的置信度都不小于矩陣加權最小置信度閾值，則得到矩陣加權正關聯規(guī)則I₁→I₂和矩陣加權強負關聯規(guī)則﹁I₁→﹁I₂；

b、挖掘矩陣加權負項集中矩陣加權強負關聯規(guī)則，具體步驟按照b1～b4進行：

b1、求出矩陣加權負項集的所有真子集；

b2、負項集的真子集中的任意兩個真子集I₁和I₂的交集為空集，且真子集I₁和I₂的項目個數之和等于其原負項集的項目個數，則計算它們的矩陣加權相關度；

b3、當矩陣加權相關度<1，并且I₁、I₂、I₁∪﹁I₂和﹁I₁∪I₂的矩陣加權支持度都不小于矩陣加權最小支持度閾值，I₁∪﹁I₂和﹁I₁∪I₂的置信度都不小于矩陣加權最小置信度閾值，則得到矩陣加權負關聯規(guī)則I₁→﹁I₂和﹁I₁→I₂；

b4、當矩陣加權相關度>1，且I₁、I₂和﹁I₁∪﹁I₂的矩陣加權支持度都不小于矩陣加權最小置信度閾值，﹁I₁∪﹁I₂的置信度都不小于矩陣加權最小置信度閾值，則得到矩陣加權強負關聯規(guī)則﹁I₁→﹁I₂；至此，正負模式挖掘結束；

所述的﹁I₁、﹁I₂、I₁∪﹁I₂以及I₁→﹁I₂中的符號“﹁”為負相關符號，﹁I₁表示在事務處理中不出現I₁的事件，I₁∪﹁I₂表示子集I₁和子集I₂是負相關關聯，I₁→﹁I₂表示I₁的出現使得I₂不會出現。