[發明專利]基于BERT-BTM網絡的微博突發事件檢測方法

在審

• 申請號: 202011109749.1
• 申請日: 2020-10-16
• 公開（公告）號: CN112257429A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 韓忠明;黃楚蓉;段大高;張翙;李俊
• 申請（專利權）人: 北京工商大學
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/216;G06F40/242;G06F16/33;G06F16/35;G06F16/36
• 代理公司: 北京東方盛凡知識產權代理事務所(普通合伙) 11562
• 代理人: 張換君

本發明公開了基于BERT?BTM網絡的微博突發事件檢測方法，讀取微博數據集，對所述微博數據集進行處理，獲得原始數據集；將所述原始數據集進行向量化處理，得到向量化處理后的詞向量集，然后通過調用預訓練BERT模型對所述基礎BERT詞向量集處理，得到BERT詞向量集；構建BERT?BTM模型，通過所述BERT?BTM模型對所述原始數據集進行處理；構建BERT?BTM網絡，然后對所述BERT?BTM網絡進行劃分，完成突發事件檢測。本發明解決了現有微博突發事件檢測方法中短文本數據稀疏、無法解決一詞多義的問題，并提高了突發事件檢測效率。

技術領域

本發明涉及文本檢測領域，尤其涉及一種面向微博的突發事件識別方法。

背景技術

隨著我國信息技術的迅猛發展，微博、Twitter、Facebook等隨之產生的社交網絡平臺已經成為產生大數據和突發事件的主要來源和重要媒介，這些平臺多次成為自然災害和暴力恐怖事件等重大突發事件的第一發布者。突發公共事件涉及現代生活的社會、政治、經濟及文化等眾多領域，涵蓋醫療、教育、法律、娛樂等諸多議題。對突發事件進行檢測不僅能提高公眾的關注，同時也有利于輿論挖掘、新興話題檢測和話題線索跟蹤等相關應用?；谝陨厦枋?，設計一種更準確有效的方法來對微博等社交網絡平臺進行突發事件檢測是有重要意義的。

當前的微博突發事件檢測任務有幾個亟待解決的問題：一方面，傳統方法存在著短文本特征稀疏、無法解決一詞多義的問題。另一方面，在使用主題模型獲得文檔的事件主題后，研究者們通常使用 K-means等聚類算法，這種方法存在著需要多次迭代，需要指定聚類簇數，效率低，無法快速完成突發事件檢測的問題。

發明內容

本發明的目的是提供基于BERT-BTM網絡的微博突發事件檢測方法，以解決現有微博突發事件檢測方法中短文本數據稀疏、無法解決一詞多義的問題。本發明公開了基于BERT-BTM網絡的微博突發事件檢測方法，包括以下步驟：

S1、讀取微博數據集，對所述微博數據集進行分詞處理，然后去除停用詞，獲得原始數據集；

S2、將所述原始數據集進行向量化處理，得到向量化處理后的詞向量集，然后通過調用預訓練BERT模型對所述向量化處理后的詞向量集處理，得到BERT詞向量集；

所述BERT詞向量集為各條微博中的詞所對應的詞向量組成的詞向量集；

S3、根據狄利克雷先驗參數α和融合了所述BERT詞向量集的先驗參數β_i構建BERT-BTM模型，通過所述BERT-BTM模型對所述原始數據集進行處理，獲得突發事件詞集；

S4、根據所述突發事件詞集和所述突發事件詞集中的詞與詞之間的共現關系，構建BERT-BTM網絡，然后對所述BERT-BTM網絡進行劃分，完成突發事件檢測。

優選的，所述步驟S3包括：

S3.1、構建BERT-BTM模型：根據狄利克雷先驗參數α計算所述微博數據集中的事件分布θ，根據所述事件分布θ計算所述事件分布θ所對應事件z；

根據融合了所述BERT詞向量集的先驗參數β_i計算事件z對應的事件詞分布φ；

根據所述事件z和事件詞分布φ計算一個詞對的2個不同的詞w_i、w_j；

S3.2、利用BERT-BTM模型對所述原始數據集進行處理，形成詞對；

S3.3、將輸入數據輸入到BERT-BTM模型得到輸出數據；

所述輸入數據包括事件數目、迭代次數、所述α、所述β_i、詞對集、詞典大??；

所述輸出數據包括突發事件分布；