[發(fā)明專利]數(shù)據(jù)采集系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201010257383.2
• 申請日: 2010-08-19
• 公開（公告）號: CN102375837A
• 公開（公告）日: 2012-03-14
• 發(fā)明（設(shè)計(jì)）人: 胡珉;羅治國;孫少陵;黃曉慶;張新訪;廖衛(wèi)國;李成華;任猛;余曉陽
• 申請（專利權(quán)）人: 中國移動通信集團(tuán)公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 余朦;王艷春

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)采集系統(tǒng)和方法。

背景技術(shù)

隨著計(jì)算機(jī)硬件和互聯(lián)網(wǎng)的飛速發(fā)展，個(gè)人和企業(yè)產(chǎn)生的數(shù)據(jù)一直持續(xù)增長。例如FTP文檔服務(wù)器、數(shù)據(jù)庫服務(wù)器等的數(shù)據(jù)存儲服務(wù)器所存儲的數(shù)據(jù)量越來越龐大。數(shù)據(jù)采集是指從數(shù)據(jù)存儲服務(wù)器獲取數(shù)據(jù)，例如，從FTP文檔服務(wù)器中獲取文檔或者從數(shù)據(jù)庫服務(wù)器中獲取數(shù)據(jù)，并將所獲取的數(shù)據(jù)存放至預(yù)定位置以便建立索引提供給用戶進(jìn)行搜索。

針對FTP文檔服務(wù)器，可將FTP文檔服務(wù)器中存儲的每個(gè)文檔的FTP完整地址看成一個(gè)網(wǎng)頁地址，通過網(wǎng)頁解析索引的系統(tǒng)進(jìn)行數(shù)據(jù)采集。而對于數(shù)據(jù)庫服務(wù)器，可預(yù)先將需要采集的表格詳細(xì)信息和查詢語句寫入一配置文件中，而后根據(jù)制定好的配置文件進(jìn)行定點(diǎn)采集。

通過網(wǎng)頁的數(shù)據(jù)采集需要通過分析已采集的網(wǎng)頁來收集下一步待采集的網(wǎng)址。但是，F(xiàn)TP文檔服務(wù)器中的所有文檔的地址是可以事先通過FTP列表命令獲取得到的，而通過網(wǎng)頁的數(shù)據(jù)采集，沒有利用到這一特點(diǎn)。因此當(dāng)需要采集海量文檔時(shí)，采集的效率非常低；即便可利用分布式的網(wǎng)頁采集系統(tǒng)，但也不能充分發(fā)揮分布式采集的能力。而在針對每個(gè)表格編寫不同配置文件的數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)采集方案中，需要事先對所有待采集的數(shù)據(jù)庫表格分別寫好配置文件，人工工作量較大，自動化程度不高，從而導(dǎo)致采集效率較低；此外使用配置文件的方法，只能做到單機(jī)的數(shù)據(jù)采集，難以利用分布式并行采集。

發(fā)明內(nèi)容

本申請的目的是提供一種至少能夠部分改善上述現(xiàn)有技術(shù)中的缺陷的數(shù)據(jù)采集系統(tǒng)和方法。

根據(jù)本申請的第一方面，提供了一種數(shù)據(jù)采集系統(tǒng)，包括：多個(gè)調(diào)度服務(wù)器和多個(gè)采集服務(wù)器，其中，調(diào)度服務(wù)器包括：生成單元，生成采集任務(wù)；以及發(fā)送單元，將所述采集任務(wù)發(fā)送給所述多個(gè)采集服務(wù)器中當(dāng)前處于待接收狀態(tài)的一個(gè)采集服務(wù)器，采集服務(wù)器包括：拆分單元，將接收到的采集任務(wù)拆分為多個(gè)子任務(wù)；以及子任務(wù)發(fā)送單元，將所述多個(gè)子任務(wù)發(fā)送給所述多個(gè)調(diào)度服務(wù)器中當(dāng)前處于待接收狀態(tài)的一個(gè)或多個(gè)調(diào)度服務(wù)器，其中，所述調(diào)度服務(wù)器的發(fā)送單元進(jìn)一步將所述調(diào)度服務(wù)器接收到的子任務(wù)發(fā)送給所述多個(gè)采集服務(wù)器中當(dāng)前處于待接收狀態(tài)的采集服務(wù)器，采集服務(wù)器進(jìn)一步包括：執(zhí)行單元，根據(jù)所接收的子任務(wù)，執(zhí)行數(shù)據(jù)采集。

根據(jù)本申請的另一方面，提供了一種數(shù)據(jù)采集方法，包括：多個(gè)調(diào)度服務(wù)器的其中之一生成采集任務(wù)，將所述采集任務(wù)發(fā)送給多個(gè)采集服務(wù)器；所述多個(gè)采集服務(wù)器中當(dāng)前處于待接收狀態(tài)的一個(gè)采集服務(wù)器接收所述采集任務(wù)，將所述采集任務(wù)拆分為多個(gè)子任務(wù)，并將所述多個(gè)子任務(wù)發(fā)送給所述多個(gè)調(diào)度服務(wù)器；所述多個(gè)調(diào)度服務(wù)器中當(dāng)前處于待接收狀態(tài)的一個(gè)或多個(gè)調(diào)度服務(wù)器接收所述多個(gè)子任務(wù)，并將所述多個(gè)子任務(wù)發(fā)送給所述多個(gè)采集服務(wù)器；以及多個(gè)采集服務(wù)器中當(dāng)前處于待接收狀態(tài)的一個(gè)或多個(gè)采集服務(wù)器接收所述多個(gè)子任務(wù)，并根據(jù)所接收的每個(gè)子任務(wù)，執(zhí)行數(shù)據(jù)采集。

通過本申請的數(shù)據(jù)采集系統(tǒng)和方法，可提高數(shù)據(jù)采集的效率，并能夠利用分布式并行處理能力，實(shí)現(xiàn)針對海量數(shù)據(jù)的數(shù)據(jù)采集。

附圖說明

圖1是根據(jù)本申請一個(gè)實(shí)施方案的數(shù)據(jù)采集系統(tǒng)的框圖；

圖2是示出根據(jù)本申請實(shí)施方案的數(shù)據(jù)采集系統(tǒng)中采集服務(wù)器的拆分單元結(jié)構(gòu)的框圖；

圖3是根據(jù)本申請一個(gè)實(shí)施方案的數(shù)據(jù)采集方法的流程圖；以及

圖4是根據(jù)本申請另一實(shí)施方案的數(shù)據(jù)采集方法的流程圖。

具體實(shí)施方式

下面參照附圖，對本申請的實(shí)施方案進(jìn)行詳細(xì)說明。

如圖1所示，根據(jù)本申請一個(gè)實(shí)施方案的數(shù)據(jù)采集系統(tǒng)11可包括多個(gè)調(diào)度服務(wù)器110和多個(gè)采集服務(wù)器120，以對數(shù)據(jù)存儲服務(wù)器130中存儲的數(shù)據(jù)執(zhí)行數(shù)據(jù)采集任務(wù)。雖然在圖1的系統(tǒng)中顯示了兩個(gè)調(diào)度服務(wù)器110和四個(gè)采集服務(wù)器120，但是可以理解，調(diào)度服務(wù)器和采集服務(wù)器的數(shù)量可不限于兩個(gè)和四個(gè)，也可以是其他數(shù)目。