[發明專利]分布式信息獲取系統及方法

有效

• 申請號: 201410371132.5
• 申請日: 2014-07-30
• 公開（公告）號: CN104102740A
• 公開（公告）日: 2014-10-15
• 發明（設計）人: 洪倍
• 申請（專利權）人: 精碩世紀科技(北京)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 臧云霄;李峰

1.一種分布式信息獲取系統，其特征在于，包括：

一個或多個請求生成裝置，用于生成獲取信息的任務請求；

一個或多個任務管理裝置，用于根據所述任務請求確定任務的優先級并分配任務；

多個任務執行裝置，用于根據所述任務管理器的分配執行所述任務以獲取信息；

信息收集裝置，用于收集多個所述任務執行裝置獲取的信息；

一個或多個數據解析裝置，用于對所述信息進行數據解析；以及

數據儲存裝置，用于儲存進行過數據解析的信息。

2.根據權利要求1所述的分布式信息獲取系統，其特征在于，所述任務管理裝置還包括：

任務持久化裝置，用于將每個所述任務請求儲存至所述數據儲存裝置。

3.根據權利要求1所述的分布式信息獲取系統，其特征在于，還包括：

信息隊列裝置，用于將所述信息收集裝置收集到的信息構成隊列并按隊列的順序將所述信息提交至所述數據解析裝置。

4.根據權利要求3所述的分布式信息獲取系統，其特征在于，所述信息收集裝置采用異步方式將收集到的信息發送至所述信息隊列裝置。

5.根據權利要求1所述的分布式信息獲取系統，其特征在于，所述多個任務執行裝置還向所述任務管理裝置反饋每個所述任務執行裝置的執行狀態以供所述任務管理裝置分配未執行的任務。

6.一種分布式信息獲取方法，其特征在于，包括：

生成獲取信息的任務請求；

根據所述任務請求確定任務的優先級并向多個任務執行裝置分配任務；

所述多個任務執行裝置執行所述任務以獲取信息；

收集獲取的信息；

對所述信息進行數據解析；以及

儲存進行過數據解析的信息。

7.根據權利要求6所述的分布式信息獲取方法，其特征在于，所述根據所述任務請求確定任務的優先級并向多個任務執行裝置分配任務還包括：

將每個所述任務請求儲存至一數據儲存裝置。

8.根據權利要求6所述的分布式信息獲取方法，其特征在于，所述收集獲取的信息之后，所述對所述信息進行數據解析之前還包括：

將收集到的信息構成隊列并按隊列的順序進行數據解析。

9.根據權利要求8所述的分布式信息獲取方法，其特征在于，所述將收集到的信息構成隊列并按隊列的順序進行數據解析包括：

采用異步方式將收集到的信息更新至所述隊列。

10.根據權利要求6所述的分布式信息獲取方法，其特征在于，還包括：

根據多個所述任務執行裝置的已分配任務的執行狀態向多個所述任務執行裝置分配未執行的任務。