[發明專利]混合新媒體下的熱點事件發現方法

在審

• 申請號: 202110444596.4
• 申請日: 2021-04-23
• 公開（公告）號: CN113343118A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 曹玖新;洪智高;劉佳
• 申請（專利權）人: 東南大學
• 主分類號: G06F16/9536
• 分類號: G06F16/9536;G06F40/289;G06Q50/00
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 杜靜靜

本發明公開了一種混合新媒體下的熱點事件發現方法，其步驟為：首先對特定時間段在線新聞門戶網站數據進行分詞和切片處理，基于概率話題模型發現和挖掘各類話題事件；然后根據事件的話題、關鍵詞和命名實體等信息，從社交網絡媒體中搜索和獲取與該事件相關的社交信息及其用戶行為關系數據；最后依據事件在新聞門戶網站中的報道數量以及事件在社交網絡中的傳播規模判定該事件是否屬于熱點事件。該算法的研究成果對網絡事件檢索、在線輿情監控、突發事件檢測以及相關安全決策等方面的實際應用具有重要的支撐作用。

技術領域

本發明涉及到混合媒體環境下社會熱點事件的發現方法，屬于互聯網監控技術領域。

背景技術

當前，社交網絡(如微博、微信等)是用戶最活躍、內容最豐富、影響最廣泛的社會新媒體，與各種在線新聞門戶網絡一起，形成了混合在線新媒體環境。一些社會事件通過新聞門戶網站報道而被人們所知，經由各類社交媒體轉載、發酵，引起網民激烈討論，導致網絡輿論博弈發展，最終形成互聯網社會熱點事件。

本發明將綜合考慮社交新媒體與新聞門戶網站在互聯網中的功能作用和互動關系，構建混合新媒體環境。在此基礎上，通過挖掘新聞門戶網站發現事件的話題，面向事件獲取新聞語料數據和社交媒體數據，判定社會熱點事件，從而幫助人們對社會熱點事件在網絡環境中的現狀和未來發展趨勢進行深刻的理解和把握。本發明的研究成果對網絡事件檢索、在線輿情監控、突發事件檢測以及相關安全決策等方面的實際應用具有重要的支撐作用。

發明內容

本發明所要解決的技術問題是：提供一種可以有效的提取文檔中潛在的話題信息，并判斷其是否為熱點事件的模型。

為解決上述技術問題，本發明采用的技術方案為將數據進行預處理后，對文檔進行向量化表示并交由神經話題模型建模，之后對建模得到的話題進行合并工作。

為了實現上述目的，本發明的技術方案如下：一種混合新媒體下的熱點事件發現方法，綜合考慮社交新媒體與新聞門戶網站在互聯網中的功能和關系，構建混合新媒體環境，面向社會熱點事件獲取新聞語料數據和社交媒體數據，通過混合媒體的數據發現話題，從而幫助人們對社會熱點事件在網絡環境中的現狀和未來發展趨勢進行深刻的理解和把握，包括如下步驟：

步驟1)對采集的數據進行新聞數據預處理，包括去除超文本鏈接，停用詞，標點符號以及數字無用信息，并利用HanLP自然語言處理工具進行分詞處理；

步驟2)將文檔按時序離散到各個時間片，時間間隔為1天，以便于后續的演化分析處理,所有事件均考察事件發生30天內的文檔，即30段時間切片；

步驟3)文本向量化，使用經過BERT預訓練的文檔表示，以提高話題的連貫性；

步驟4)話題建模，使用神經話題模型來進行話題建模，其中我們將輸入的詞袋表示替換為上下文嵌入；

步驟5)將步驟4)得到的話題建模后需要對話題進行合并工作，

步驟6)完成了新聞門戶網站的事件檢測后，需要關聯每個事件在社交網絡中的微博內容及其用戶社交關系；

步驟7)根據一定的判定標準，當超過一定的閾值時則判定其為熱點事件。

其中，所述步驟2)中時間片的劃分，對于處理時間在一段時間的演化及其熱度變化規律有重要的影響，在發明中將其固定在30天，也可以根據爬取新聞內容時間長度來自適應設置。

所述步驟3)中文本向量化將輸入話題模型的詞袋表示替換為上下文嵌入，即在話題建模過程之前，引入了從BERT語言模型進行預訓練的文檔表示的神經編碼層。首先，通過調用bert_serving包自建話題語料庫的詞典并訓練BERT詞向量模型。每篇文檔得到由詞向量構成的矩陣，將匹配好的數據保存，以便后續話題建模的任務處理。