[發明專利]基于云計算的互聯網信息監測系統及方法

有效

• 申請號: 201010176186.8
• 申請日: 2010-05-14
• 公開（公告）號: CN101902497A
• 公開（公告）日: 2010-12-01
• 發明（設計）人: 翁時鋒;張長水
• 申請（專利權）人: 翁時鋒;寧波大象信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

技術領域

本發明涉及一種網絡技術，特別涉及一種基于云計算的互聯網信息監測系統及方法。

背景技術

隨著互聯網的快速發展，網絡媒體作為一種新的信息傳播形式，已深入人們的日常生活。網友言論活躍已達到前所未有的程度，不論是國內還是國際重大事件，都能馬上形成網上輿論，通過這種網絡來表達觀點、傳播思想，進而產生巨大的輿論壓力，達到任何部門、機構都無法忽視的地步。可以說，互聯網已成為思想文化信息的集散地和社會輿論的放大器。

為了迎合對互聯網上信息快速搜集的需要，因而出現了一種互聯網信息實時監測系統。互聯網信息實時監測系統是一種在基礎計算硬件和計算資源的基礎上，應用特定的信息采集軟件，將互聯網上用戶感興趣的內容采集下來，并實現存儲和管理的一種系統。系統可以為實時垂直搜索引擎、互聯網輿論監測(輿情監測)、商業品牌評論調研、企事業危機管理、社會突發公共事件等應用提供解決方案。其可以通過對網頁內容的自動采集處理、敏感詞過濾、智能聚類分類、主題檢測、專題聚焦、統計分析的系統，實現對相關網絡監督管理的需要，并最終形成簡報、專報、分析報告、移動快報等，為決策層全面掌握信息動態，做出正確引導，提供分析依據。

目前，市場上的互聯網信息實時監測系統的設計采用的是傳統的軟硬件系統思路。一個廠商會為一個客戶提供一套計算硬件、一套搜索軟件和一套管理軟件，而且整個系統由該用戶獨占，和其他用戶沒有關系。

如圖1所示，其為現有的一種互聯網信息實時監測系統的結構示意圖。用戶終端10通過寬帶等硬件設施連接到互聯網13上，終端10包括有搜索單元11和數據管理單元12，搜索單元11從互聯網站點中采集相關的信息，并傳輸給數據管理單元12，由數據管理單元12匯總形成用戶指定形式的信息數據。

這種互聯網信息實時監測系統可以自主地對網絡信息進行監測，并按照用戶的需要有針對性地采集信息，可以大大節約用戶遍歷網絡站點所需要的時間。但是，現有的互聯網信息實時監測系統也存在著一些缺陷：

由于各個用戶所使用的系統和計算資源是相互獨立的，而單個用戶不可能承擔實時遍歷整個互聯網的硬件投入(實際一套系統一般僅包括若干臺服務器，例如3-5臺)，因而大大限制了單個用戶對信息的采集范圍。并且有限的計算資源也使系統對網絡站點的遍歷時間過長，導致信息的實時性不高，這就從根本上降低了系統的服務質量。

發明內容

本發明的目的是提出一種基于云計算的互聯網信息監測系統，以解決現有的互聯網信息監測系統采集范圍小、實時性不高的問題。

本發明的另一目的是提出一種基于云計算的互聯網信息監測方法，以解決現有的互聯網信息監測系統采集范圍小、實時性不高的問題。

本發明提出一種基于云計算的互聯網信息監測系統，用于對互聯網信息進行實時采集，包括若干用戶終端、采集任務協調器和數據協調器。用戶終端與互聯網相連，用于對互聯網信息進行實時監測和采集，并對采集到的信息進行規劃和管理。其中，每個用戶終端又進一步包括搜索單元和數據管理單元。搜索單元用于對互聯網站點進行監測和采集。數據管理單元用于對采集得到的互聯網信息進行管理。采集任務協調器與所有的搜索單元相連，用于將各個用戶需要遍歷的互聯網站點匯總為一個總的采集范圍，并進行劃分后，將相應的搜索范圍信息分配給各個搜索單元。數據協調器與所有的搜索單元及所有的數據管理單元相連，用于將所有的搜索單元采集到的數據進行匯總，并根據各個用戶的需要，分配傳輸到各個數據管理單元中。

依照本發明較佳實施例所述的基于云計算的互聯網信息監測系統，采集任務協調器還包括獨有采集目標反饋子單元，其與所有的搜索單元相連，用于對各個用戶的信息采集范圍進行分析，并將用戶獨有的采集站點信息反饋給相應的搜索單元，以由搜索單元從獨有采集站點處采集的信息，直接導入本地的數據管理單元中。

本發明另提出一種基于云計算的互聯網信息監測方法，其包括以下步驟：(1)獲取各個用戶終端關于互聯網站點的采集范圍。(2)將所有用戶終端的采集范圍進行匯總。(3)將匯總后的采集范圍重新劃分，并分配給各個用戶終端。(4)接收所有用戶終端采集的互聯網信息并進行匯總。(5)根據各個用戶終端的需要，將相應的互聯網信息分配傳輸給各個用戶終端。

依照本發明較佳實施例所述的基于云計算的互聯網信息監測方法，在將所有用戶終端的采集范圍進行匯總之后，根據各個用戶終端的計算資源對采集范圍進行重新劃分，并分配給相應的各個用戶終端。