[發明專利]基于突發詞檢測和過濾的微博突發話題檢測方法

有效

• 申請號: 201910631334.1
• 申請日: 2019-07-12
• 公開（公告）號: CN110489741B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 薛哲;杜軍平;張強
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F16/33
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出了一種基于突發詞檢測和過濾的微博突發話題檢測方法。方法包括三個部分：基于詞突發值計算的突發詞檢測、基于突發值指數平均值計算的偽突發詞識別和基于話題關鍵字和突發詞相似度的突發話題識別。理論系統完備，創新性突出，主要用于社交網絡文本處理中。該發明為微博突發話題檢測提供了解決方案，具有很高的實用價值。

技術領域

本發明屬于互聯網技術領域，具體涉及一種突發話題檢測方法。

背景技術

近年來，隨著Web 2.0社交網絡的興起，微博以其方便快捷的優點迅速流行起來，現在已經發展成為網絡信息傳播的主要途徑。突發話題在微博中傳播速度非常迅速，能夠產生巨大的影響力，因此，微博平臺上的社會突發話題檢測技術對于社會熱點的及時發現、網絡民意的盡快感知、突發話題及早響應等方面都具有積極的現實意義。然而，目前對于微博的突發話題檢測而言依舊存在一些挑戰。首先，微博上話題具有多樣性。同一時間微博上各種話題如社會話題類話題、娛樂八卦類話題、個人生活瑣事等多種話題摻雜在一起，存在大量對于話題檢測而言無意義的信息。其次，微博上有的話題表現出間歇性。通常同一個話題會隨著微博用戶的關注程度和時間的推移經歷一個產生、發展、成熟、衰退和消亡的完整生命周期。通常這個生命周期是連續的，但是一些話題在產生后會沉寂兩到三天，之后隨著相關的后續消息出現再次出現。

本發明提出了基于突發詞檢測和過濾的微博突發話題檢測方法。從兩個方面進行研究。突發詞提取上，綜合考慮了詞的基本權重和突發權重，利用詞出現頻次、包含詞的微博數、詞出現頻次的增長速度計算詞的突發值；利用詞突發值趨勢分析的方法，計算短期突發值的均值與長期突發值的均值的差，過濾無效的突發詞。本發明能夠更加準確地檢測突發話題。

發明內容

本發明所提出的基于突發詞檢測和過濾的微博突發話題檢測方法分為三個部分：突發詞的提取、偽突發詞的過濾和突發話題識別。首先，分別計算一個詞在某個時間片的基本權重與突發權重，根據這個詞的基本權重與突發權重計算一個詞的突發值；其次，計算一個詞突發值在兩個不同長度時間段內的指數平均值，根據兩個指數平均值的差判斷詞突發值的變化趨勢；最后，使用主題模型和聚類的方法檢測出當前時間片的話題，并選出每個話題出現頻次最高的3個詞作為關鍵詞。如果一個話題中的關鍵詞包含突發詞，則認為這個話題是突發話題。

為達到上述目的，如圖1所示，本發明的技術方案劃分為三個部分：

1.基于詞突發值計算的突發詞檢測；

2.基于突發值指數平均值的偽突發詞識別；

3.基于話題關鍵字和突發詞相似度的突發話題識別

本發明有以下一些技術特征：

(1)提出基于詞突發值計算的突發詞檢測，突發詞提取上，綜合考慮了詞的基本權重和突發權重，利用詞出現頻次、包含詞的微博數、詞出現頻次的增長速度計算詞的突發值。

(2)提出基于突發值指數平均值的偽突發詞識別，計算一個詞突發值在兩個不同長度時間段內的指數平均值，根據兩個指數平均值的差判斷詞突發值的變化趨勢。

(3)提出基于話題關鍵字和突發詞相似度的突發話題識別，使用主題模型與聚類算法結合的方法來檢測時間片內的話題。當一個話題的前三個關鍵詞與突發詞的相似度大于一個閾值時，此話題為突發話題。算法的精確率、召回率比傳統算法有較大提高。

本發明提出了一種突發話題檢測方法，理論系統完備，創新性突出，主要用在社交網絡數據中。本發明應用在社交網絡突發話題檢測領域，可以處理各種話題混雜的社交網絡文本數據，識別出偽突發詞，提高突發話題檢測的準確性和實時性。

附圖說明

圖1為基于突發詞檢測和過濾的微博突發話題檢測模型的基本內容結構圖；

具體實施方式