[發明專利]一種基于文本處理的異常突發事件檢測方法及系統

在審

• 申請號: 202011103389.4
• 申請日: 2020-10-15
• 公開（公告）號: CN112732904A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 桑燕五;呂曉寶;張謙;郎寶暉;王元兵;王海榮
• 申請（專利權）人: 中科曙光南京研究院有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/216;G06F40/284;G06F40/289
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 竇賢宇

本發明提出了一種基于文本處理的異常突發事件檢測方法及實現該方法的系統，其中所述方法具體為：首先，接收用戶端輸入的文本信息；其次，對接收到的文本信息進行預處理，進一步為通過正則匹配過濾掉沒有價值的文本內容，并通過分詞進行進一步的過濾；從次，對分詞后的文本數據進行關鍵詞的提取，并對經過關鍵詞提取后的分詞結果進行詞頻的統計；再次，對統計出的異常詞頻進行分析并通過聚類將相同的異常事件標記成一件；最后，提取異常事件對應的突發事件，并將處理的結果可視化至用戶界面，使得用戶端用戶可以實現對異常突發事件的早發現、早準備、早介入，從而降低突發事件對輿論的沖擊。

技術領域

本發明涉及一種基于文本處理的異常突發事件檢測方法及系統，特別是涉及一種大數據文本處理領域。

背景技術

隨著科學電子信息技術的發展，電子信息數據成了當下社會發展過程中應運而生的產物，突發事件的檢測是話題檢測與跟蹤技術的分支，通過對信息流進行新話題的自動識別，可以幫助人們從爆炸式增長的各類信息中及時發現突發事件，評估事件的嚴重程度、影響規模，從而達到對突發事件的早發現、早準備、早介入，從而降低突發事件對輿論沖擊的目的。

現有技術中，在針對記錄突發事件的文本信息中，具有大量的干擾信息，與互聯網數據相比，主動接受并記錄大眾生活的突發事件傳播速度更慢，且由于處理相關事件的數據庫中與突發事件相關的記錄數量太少，突發異常事件往往會被淹沒在大量的普通突發事件中，從而無法得到及時的關注。另一方面，主動接受并記錄大眾生活的文本記錄內容中包含很多業務術語，與人們的日常語言習慣有一定差距，主流的自然語言處理工具在處理相關文本時呈現出的效果并不理想。

發明內容

發明目的：一個目的是提出一種基于文本處理的異常突發事件檢測方法，以解決現有技術存在的上述問題。進一步目的是提出一種實現上述方法的系統。

技術方案：一種基于文本處理的異常突發事件檢測方法包括以下步驟：

步驟一：接收待處理文本；

步驟二：對接收到的文本進行預處理；

步驟三：對處理過后的文本進行詞頻的統計；

步驟四：提取異常詞并聚類分析；

步驟五：將獲得的異常情況可視化至用戶端界面。

在進一步的實施例中，所述步驟一進一步為：所述接收待處理的文本來源于記錄突發事件的數據庫，且該文本是具有能清楚描述突發事件特征信息的規范性描述語句，即突發事件涉及群眾提供的時間、地點、人物、事件、事件的因果、處置結果信息。

在進一步的實施例中，所述步驟二進一步為：對步驟一中接收到的文本數據進行處理，具體過程為首先，建立用于預處理使用的詞庫數據；其次，利用正則表達式結合詞庫數據進行文本信息的預處理提取；再次，通過利用自然語言處理工具對預處理過的文本進行分詞，以及詞性標注；最后結合分詞結果和標注出的詞性，進一步對文本中的干擾詞匯進行剔除操作。其中所述詞庫數據進一步包括自定義詞庫，以及停用詞庫；所述正則匹配出的文本信息為無干擾性信息的冗余文本數據；所述詞性標注出的詞在過濾的時候遵循規則具有以下特征：停用詞庫中含有的詞；詞性為“數詞”、“量詞”、“助詞”、“時間詞”、“代詞”、“副詞”、“介詞”、“連詞”、“助詞”、“嘆詞”、“形容詞”、“人名詞”、“方位詞”、“語氣詞”、“動詞性語素”、“形式動詞”、“趨向動詞”、“副動詞”、“名詞性語素”、“狀態詞”、“處所詞”、“標點符號”的詞；包含空格、標點符號特殊字符的詞。