[發明專利]基于云計算的信息采集系統及方法

無效

• 申請號: 201010562469.6
• 申請日: 2010-11-23
• 公開（公告）號: CN102158346A
• 公開（公告）日: 2011-08-17
• 發明（設計）人: 方勝;陰玉剛
• 申請（專利權）人: 北京神州泰岳軟件股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

技術領域

本發明涉及信息系統中信息采集技術領域，特別涉及一種基于云計算的信息采集系統及方法。

背景技術

現有的數據采集平臺中，根據服務器承載情況將不同的采集任務部署在不同的采集機上，各采集機的采集任務是相互獨立的，任務綁定在采集機上，任務遷移和擴展極不方便。為了采集任務能夠正常運行，都會考慮在網絡容量增加后的負荷，會相對地給每個采集機多分配一些預留空間，也要經常由人工根據采集情況對各采集機上的任務進行調整，保證資源的充足性，防止采集機資源不足導致采集任務終止，但這種情況導致成本的增加、資源的消耗，并且也增加了維護難度。若其中一臺采集機發生故障時，無法及時進行恢復，即使找到替換機器，還需要將原來任務遷移到新服務器，還要對數據進行補采處理，這樣會導致數據出現很大的延遲。

發明內容

(一)要解決的技術問題

本發明要解決的技術問題是：在信息采集過程中如何縮小數據采集的延遲，并節省資源消耗、降低維護難度。

(二)技術方案

為解決上述技術問題，本發明提供了一種基于云計算的信息采集系統，包括：若干個通過網絡相互連接的服務端，所述服務端各自連接至少一個的客戶端和至少一個采集機，所述客戶端用于調度采集任務，將采集任務發送到與其連接的服務端，服務端將所述采集任務分配到與其連接的采集機進行任務采集。

其中，所述采集機為PC或PCserver。

本發明還提供了一種利用上述基于云計算的信息采集系統的采集方法，其特征在于，包括如下步驟：

S1：客戶端調度采集任務，并將調度的采集任務發送給位于云中的服務端A；

S2：所述服務端A將所述采集任務分配到采集機B；

S3：采集機B執行采集任務，并向所述服務端A返回執行結果。

其中，所述步驟S1和步驟S2之間還包括：

所述服務端A檢查與其連接的采集機的性能和采集機中采集任務隊列的使用情況，選擇接收采集任務的采集機B，選擇標準包括以下幾種標準：

X1：輪詢算法，順序循環將請求一次順序循環地連接每個服務器。

X2：最少任務方式，選擇當前采集機中最執行任務最少比率的采集機

X3：最快模式，選擇采集機中響應最快的采集機；

X4：動態性能分配，實時收集采集機各項性能參數，按性能參數實時選擇采集機。

其中，步驟S1和步驟S2之間還包括：

服務端在分配任務之間，通過服務器集群的方式相互通信，當一個服務端的采集任務達到性能臨界點時，動態將采集任務發送到云中的另一個服務端。

其中，所述步驟性能臨界點為：CPU使用率上限80％、內存使用率上限70％或內存使用量上限為1024MB。

其中，所述步驟S3具體包括：

將接收到的采集任務放入任務采集隊列；

從所述采集任務隊列中取出所述采集任務，若需要監控采集的結果并依賴于另一個任務的執行，則采取阻塞方式執行所述采集任務；否則，以非阻塞方式執行所述采集任務。

其中，所述步驟S3之后還包括：

S4：如果執行成功，所述服務端A根據任務定制查找是否有依賴任務，存在新依賴則繼續向采集機B發送采集任務；

S5：如果不成功，按任務定義是否嘗試補采，并根據補采集定義次數進行補采，超過預定次數會發出采集任務錯誤消息，不會再發起補采任務。

其中，所述步驟S1之前還包括：

所述采集機啟動時通過網絡廣播的形式查找到云中的服務端，并通過socket方式進行心跳連接。

(三)有益效果

本發明將任務調度、分配及采集進行分別部署，以普通PC為采集機，當出現故障時可以快速選擇其他采集機，減小了數據采集的延遲，并節省資源消耗、降低維護難度；在分配采集任務時選擇最適合的采集機進行采集，提高了數據采集的效率。

附圖說明

圖1是本發明實施例的一種基于云計算的信息采集系統結構示意圖；

圖2是利用圖1中采集系統的采集方法流程圖。

具體實施方式

下面結合附圖和實施例，對本發明的具體實施方式作進一步詳細描述。以下實施例用于說明本發明，但不用來限制本發明的范圍。