[發明專利]一種輿情信息中敏感信息的智能挖掘系統

有效

• 申請號: 202010194818.7
• 申請日: 2020-03-19
• 公開（公告）號: CN111414520B
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 李惠柯;賀成龍;湯世松;高峰;劉蟄;孟令伍
• 申請（專利權）人: 南京萊斯網信技術研究院有限公司
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06F16/951;G06F16/9536;G06N7/00
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華

本發明公開了一種輿情信息中敏感信息的智能挖掘系統，包括：輿情信息預處理模塊，用于濾除輿情信息中的雜質信息，獲得已過濾輿情信息；敏感信息類別標注模塊，用于在信息展示界面接收并記錄人工標注信息，獲得已標注輿情信息；基于bert模型的敏感信息識別模塊，用于根據已標注輿情信息訓練敏感信息分類模型獲得挖掘模型；輿情信息敏感智能挖掘模塊，用于根據挖掘模型實時智能挖掘輿情信息并輸出挖掘結果；敏感信息可視化模塊，用于將輿情信息與挖掘結果以可視化的形式展示在信息展示界面。采用前述系統，能夠結合輿情工作人員的需求，完成輿情信息敏感智能挖掘，方便輿情工作人員實時、便捷地了解和掌握輿情信息，輔助相關工作人員完成決策。

技術領域

本發明涉及輿情數據智能分析領域，尤其是涉及根據用戶實際需求的輿情信息中敏感信息的智能挖掘系統。

背景技術

隨著新時代的發展，網絡逐漸成為了人們傳播和獲取各種信息的主要媒介，網上信息紛繁復雜，增加輿情工作者對信息進行挖掘的時間成本，如何能夠更快更有效的挖掘出海量輿情信息中的重點輿情信息是亟待解決的問題。

現有技術中，輿情系統敏感信息挖掘主要依靠敏感詞命中方式識別敏感信息，然而，由于新詞不斷出現，詞庫難以對敏感詞進行完全覆蓋。同時，由于同樣的關鍵詞匯在不同語言環境下表征意思不一樣，現有的輿情系統無法識別語義環境，對負面信息誤判概率高。

發明內容

本發明提供了一種輿情信息中敏感信息的智能挖掘系統，以解決現有的輿情工作者對信息進行挖掘的時間成本高，導致難以有效挖掘出海量輿情信息中的重點輿情信息這一問題。

一種輿情信息中敏感信息的智能挖掘系統，所述系統包括：

輿情信息預處理模塊，用于濾除抓取的輿情信息中的雜質信息，獲得已過濾輿情信息；

敏感信息類別標注模塊，用于接收所述已過濾輿情信息，記錄所述已過濾輿情信息的人工標注信息，獲得已標注輿情信息并存入后臺數據庫，用于后續分類模型的增量訓練；

敏感信息識別模塊，用于根據所述已標注輿情信息對bert模型進行微調，在微調過程中，對模型的參數進行調試，直到獲得在測試數據集上較好的研判效果，通過所述微調，訓練獲得敏感信息分類模型，用于線上系統實時數據的敏感研判；

輿情信息敏感智能挖掘模塊，用于根據所述敏感信息分類模型實時智能研判輿情信息是否敏感，并輸出結果；

敏感信息可視化模塊，用于將所述輿情信息與挖掘結果以可視化的形式展示在信息展示界面。

進一步地，在一種實現方式中，所述輿情信息預處理模塊包括第一過濾單元、第二過濾單元和第三過濾單元，通過所述第一過濾單元、第二過濾單元和第三過濾單元濾除所述雜質信息，獲得已過濾輿情信息，所述雜質信息包括：低俗信息、廣告信息、歷史信息、鏈接符號以及表情符號內容；

通過所述第一過濾單元對輿情信息中的低俗信息和廣告信息進行濾除；

通過所述第二過濾單元對輿情信息中的歷史信息進行濾除；

通過所述第三過濾單元對輿情信息中的鏈接符號和表情符號進行濾除。

進一步地，在一種實現方式中，所述第一過濾單元為基于樸素貝葉斯模型的低俗信息和廣告信息的過濾算法：

所述基于樸素貝葉斯模型的低俗信息和廣告的過濾算法以貝葉斯定理為基礎，計算待分類項屬于每一個可能類別的概率，根據最大概率的類別，確認待分類項的分類；

根據樸素貝葉斯算法，即公式(1)，對所述雜質信息中的低俗信息和廣告信息進行識別：

濾除包含低俗信息或廣告信息的輿情信息。