[發明專利]基于主題模型的網絡突發熱點事件檢測方法

有效

• 申請號: 201110226821.3
• 申請日: 2011-08-09
• 公開（公告）號: CN102289487A
• 公開（公告）日: 2011-12-21
• 發明（設計）人: 張寅;邵健;劉霄;吳飛
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 張法高

1.一種基于主題模型的網絡突發熱點事件檢測方法，其特征在于包括如下步驟：

1)首先對文檔數據集進行分詞處理，得到單詞列表、文檔單詞關系矩陣、單詞文檔分布矩陣、單詞日期分布矩陣；

2)根據文檔單詞關系矩陣、單詞文檔分布矩陣、單詞日期分布矩陣計算單詞和文檔的突發特性，并據此對數據集進行篩選；

3)然后對篩選后的數據集進行主題建模得到突發熱點事件的特征單詞和特征文本；

4)根據熱點事件的特征單詞、單詞日期分布矩陣計算熱點事件的關注度日期分布。

2.根據權利要求1所述的一種基于主題模型的網絡突發熱點事件檢測方法，其特征在于所述的首先對文檔數據集進行分詞處理，得到單詞列表、文檔單詞關系矩陣、單詞文檔分布矩陣、單詞日期分布矩陣的步驟為：

1)從文檔數據集中提取出單詞列表W＝{(w_i)：i＝1，2，...，l}，并統計每個單詞在每個文檔中的出現次數，從而得到文檔單詞關系矩陣X＝{(x_ij)：i＝1，2，...，l；j＝1，2，...，n}，其中w_i表示第i個單詞，x_ij表示單詞w_i在文檔d_j中出現的次數；

2)根據文檔單詞關系矩陣X得到單詞文檔分布矩陣C1＝{(c1_i)：i＝1，2，...，l}，其中c1_i表示出現過單詞w_i的文檔數量；

3)根據文檔單詞關系矩陣X和文檔日期分布得到單詞日期分布矩陣C2＝{(c2_ij)：i＝1，2，...，l；j＝1，2，...，p}，其中c2_ij表示單詞w_i在日期j出現的次數，實際中，還在使用分布矩陣C2之前對其進行均值化處理，即c2_ij＝c2_ij/sum_j，sum_j表示日期j當天出現的單詞總量，這樣消除文檔數量日期分布不均勻對突發性檢測的干擾。

3.根據權利要求1所述的一種基于主題模型的網絡突發熱點事件檢測方法，其特征在于根據文檔單詞關系矩陣、單詞文檔分布矩陣、單詞日期分布矩陣計算單詞和文檔的突發特性，并據此對數據集進行篩選的步驟為：

1)根據單詞文檔分布矩陣C1對單詞進行篩選，首先定義文檔分布篩選系數β₁、β₂，并且0≤β₁＜β₂≤1，然后使用函數WordFilter1對單詞進行篩選，其中n表示集合D中的文檔數量，通過小的系數β₁，過濾掉出現頻率較低的生僻單詞，而大的系數β₂則過濾掉出現頻率較高的事件無關單詞；

WordFilter1(wi)=truen*β1≤c1i≤n*β2falseotherwise]]>

2)定義并計算每個單詞的突發特征值；

BurstyValue(wi)=1pΣj=1p(c2ij-c2i‾)2/c2i‾]]>

其中表示單詞w_i日期分布的平均值，這里的突發指數其實就是單詞日期分布的標準差和平均值相除的結果，標準差用來描述單詞日期分布的突發性，除以平均值則抵消不同單詞整體出現頻率差異的影響，這樣得到的最終結果才準確的反應出每個單詞日期分布的突發性；

3)根據突發特征值對單詞進行篩選，單詞突發指數反映了單詞和突發事件相關的可能性，在此基礎上定義單詞篩選函數：

WordFilter2(wi)=trueBurstyValue(wi)≥φfalseotherwise]]>

這里φ為單詞突發指數閾值，用于過濾突發性較低的單詞，除了使用固定閾值，還采用固定突發單詞數量以及固定突發單詞比例方式來篩選突發單詞；

4)根據突發單詞列表對文檔進行篩選，文檔過濾函數DocFilter定義如下：

DocFilter(di)=trueΣwj∈Wxij>0falseotherwise]]>

即保留突發單詞數量大于0的文檔作為突發文檔，然后就得到突發文檔、突發單詞關系矩陣X′＝{(x′_ij)：i＝1，2，...，l′；j＝1，2，...，n′}。