[發明專利]一種能夠自動采集分析的網絡輿情檢測系統

在審

• 申請號: 202210854121.7
• 申請日: 2022-07-13
• 公開（公告）號: CN115409240A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 王亓彬;王晶晶
• 申請（專利權）人: 南昌工學院
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/00;G06F16/951;G06F16/9536;G06F40/205
• 代理公司: 北京奧肯律師事務所 11881
• 代理人: 周桐

1.一種能夠自動采集分析的網絡輿情檢測系統，用于對網絡熱點輿情進行采集和檢測，其特征在于，所述網絡輿情檢測系統包括：

數據采集層，通過數據采集單元采集各大熱門網站的資源信息，從而便于分析處理層進行輿情數據分析；

分析處理層，對采集到的輿情數據進行處理分析，從而為應用服務層提供數據支撐；

應用服務層，通過分析處理層處理后的輿情數據，對當前的網絡輿情進行判斷，并預測輿情的下一步發展。

2.根據權利要求1所述的一種能夠自動采集分析的網絡輿情檢測系統，其特征在于，所述數據采集層包括數據采集單元、參數設置單元和數據解析單元，其中，各單元的功能如下：

數據采集單元：通過數據采集單元對網絡輿情進行數據收集，設置采集端口，數據采集單元根據設置的采集端口進行自動爬取；

參數設置單元：對數據采集單元的抓取參數進行設置，主要內容包括兩個方面，爬取目標和存儲單元，設置抓取黑名單和抓取白名單，數據采集單元從白名單進行數據抓取；

數據解析單元：在采集端口中，會對所發布的資源信息進行記錄，包括瀏覽次數、轉載次數、發布信息等，其中存在很多的重復性內容，通過數據解析單元對各個數據內容進行分解，去除重復性內容，保留具有價值的信息，并對采集信息進行分類處理。

3.根據權利要求1所述的一種能夠自動采集分析的網絡輿情檢測系統，其特征在于，參數采集單元中，在對爬取目標進行設定時，需要對爬取過程、爬取效果等進行設置，并根據實際需要來設計爬取名單，僅對白名單上的內容進行工作，可以減少不必要的環節，從而保證工作質量和效率。

4.根據權利要求1所述的一種能夠自動采集分析的網絡輿情檢測系統，其特征在于，所述存儲單元為主存儲區和多個分存儲區，且多個白名單與分存儲區一一對應，所述分存儲區內部的數據經過處理后匯總進入主存儲區。

5.根據權利要求1所述的一種能夠自動采集分析的網絡輿情檢測系統，其特征在于，所述分析處理層包括輿論判定單元、輿論跟蹤單元、輿論評估單元和輿論報告單元，其中，

輿論判定單元，當數據解析單元解析完成后，將解析后的輿情數據存儲到主存儲區，輿論判定單元從各個分存儲區提取數據，存儲到需要對相近或相似的輿論主題進行合并，并采用文本處理技術，將每個主題中的句子，單詞進行分詞；

輿論跟蹤單元，隨著時間的變化，每一個輿論主題的向量文本都在發生改變，通過輿論跟蹤單元對輿論導向進行跟蹤，分析文本與主題之間的關系，當主題沒發生變化時，將討論的內容在文本中分類，有助于對主題觀點進行分析和統計；

輿論評估單元，對主題的傾向以及向量文本中的觀點等作出判斷,從句子，單詞、段落等方面來分析觀點的內容；

輿論報告單元，通過前期的數據收集和處理,可以獲得較為準確的分析結果，用戶可根據實際需要，制成報告表格，對每一個話題的輿論情況設計警戒值，當超出這個數值后可自動進行警報。

6.根據權利要求1所述的一種能夠自動采集分析的網絡輿情檢測系統，其特征在于，所述應用服務層包括輿情預測單元，所述輿情預測單元的預測方法具有以下步驟：

步驟一：對聚合之后得到的網絡輿情數據進行標準化處理；

步驟二：計算出相關系數矩陣S，并求出S所對應的的i個特征根，以及相應特征向量；

步驟三：計算方差貢獻率，當累積方差貢獻率達到85％以上時，選取n個主成分t；

步驟三：將N個主成分數據輸入到Markov模型中，輸出預測數據。

7.根據權利要求1所述的一種能夠自動采集分析的網絡輿情檢測系統，其特征在于，

所述數據解析單元的具體解析方法如下：將從各白名單上采集的原始網頁轉化成格式化文本存入分存儲區，然后首先將采集到網頁信息進行去重、消除噪聲等處理，然后從網頁中提取出正文信息，利用中文分詞技術將采集到的文本字符串進行切割，轉化成單個的詞條，這些詞條被稱為該文本的特征項，最后利用概率模型等數學模型特征項文檔進行特征抽取形成文本向量集，為后期輿情分析過程中進行排序、比較、計算操作提供數據支撐。