[發明專利]一種基于多特征融合的微博突發事件檢測方法

有效

• 申請號: 202011481477.8
• 申請日: 2020-12-15
• 公開（公告）號: CN112528024B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 劉聰;楊靜;王勇;曲連威;辛顯楠
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/216;G06F40/289;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種基于多特征融合的微博突發事件檢測方法。對數據集進行噪音過濾；進行文本的分詞，進行詞性篩選，統計詞頻，得到預處理后的文本；對預處理結果進行突發詞提取，結合詞語的基礎權重、突發權重、詞語所受微博影響、用戶影響力的計算結果進行加權求和得到詞語的突發度，根據突發度進行詞語的篩選，選出的詞語作為突發詞放入突發詞集；對突發詞集中的詞語進行基于詞語共現度的相似性計算，根據結果構建相似度矩陣；對相似度矩陣中的詞語進行凝聚式層次聚類，根據聚類結果得到突發事件檢測結果。本發明提出的突發詞提取方法能夠提高突發詞提取的精準度，進而有效提高突發事件檢測的準確率，為網絡輿情監控、突發事件處理以及社會安全管理提供良好支撐。

技術領域

本發明屬于自然語言處理領域；具體涉及一種基于多特征融合的微博突發事件檢測方法。

背景技術

隨著互聯網技術的飛速增加，微博用戶規模也在不斷擴大。微博的廣泛的交互性使其成為在線社交網絡中不可或缺的一部分，微博相比于傳統媒體，微博具有龐大的社會群體，有著海量的數據量和資源，在輿論的檢測，控制上更具有挑戰性，對微博的研究同樣更具挑戰性。近幾年，有關在線社交突發事件正在逐漸受到越來越多的關注，有關突發事件的研究也在與日俱增，本文希望在以上研究的基礎上進行深入的研究，為突發事件檢測提供一種新方法，減少突發事件產生所帶來的危害和影響，這對社會的穩定和發展有著重要的意義。

突發事件檢測方法是指將現有的事件信息按照時間進行劃分，并對已劃分的事件進行預處理和分詞，根據一定的方法對具有較高突發特征的特征詞進行提取，進行詞語之間的相似度，根據相似度進行聚類獲取突發事件。

突發事件檢測方法因其能夠幫助控制輿論的大肆傳播、擴大以至于造成不良影響并維持網絡環境的穩定成為自然語言處理的一個分支，通過對歷史時間窗中的數據進行比較并提取突發詞是突發事件檢測的重要方式。事件傳播過程產生的不確定性、環境依賴性、多樣性，與突發事件之間存在相應的聯系，通過對數據挖掘等方法有效挖掘文本數據集和突發事件之間蘊含的關聯關系具有較高的可行性。

發明內容

本發明提供了一種基于多特征融合的微博突發事件檢測方法，該方法能夠解決已有突發事件檢測方法無法準確定位突發事件的范圍問題；同時該方法能夠針對數據集的多種特征以及用戶特征，提高現有突發事件檢測的準確率問題。更好的滿足在大量和多種特征的數據背景下對突發事件檢測準確率要求等問題。

本發明通過以下技術方案實現：

一種基于多特融合的微博突發事件檢測方法，所述檢測方法包括以下步驟：

步驟1：對微博數據集進行噪音的過濾和時間窗的劃分；

步驟2：對步驟1噪音過濾和時間窗劃分的數據，進行面向詞語級別的預處理，得到分詞且詞性篩選過的高可用性的文本數據集和詞頻數據集；

步驟3：對步驟2中的預處理后的文本數據集進行基于多特征的詞語權重的計算，最終根據提取的突發度篩選出面向多特征的詞語的突發詞集；

步驟4：對步驟3的突發詞集進行基于詞語共現性的相似度計算，最終根據計算結果構建詞語-詞語相似度矩陣；

步驟5：對步驟4的相似度矩陣進行面向自底向上的凝聚式層次聚類，最終根據聚類結果匹配原文本得到基于多特征的突發事件。

進一步的，所述步驟1具體為：通過對微博數據集進行基于表情符號、URL鏈接、互動標簽、話題標簽等噪音的過濾，將過濾后的數據按照時間特征劃分到不同的時間窗內，最終得到噪音過濾和時間窗劃分的數據集。

進一步的，所述步驟2具體為，將噪音過濾和時間窗劃分的數據進行分詞，由于事件的描述主要由名詞、動詞、形容詞等組成，所以進行基于分詞詞性的篩選，具體包含動詞、名詞、形容詞、數詞、量詞、代詞詞性，對進行停用詞處理并統計詞頻，最終得到低噪高可用性的文本數據集和詞頻數據集。