[發(fā)明專利]數(shù)據(jù)采集系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201010257383.2
• 申請(qǐng)日: 2010-08-19
• 公開（公告）號(hào): CN102375837A
• 公開（公告）日: 2012-03-14
• 發(fā)明（設(shè)計(jì)）人: 胡珉;羅治國(guó);孫少陵;黃曉慶;張新訪;廖衛(wèi)國(guó);李成華;任猛;余曉陽
• 申請(qǐng)（專利權(quán)）人: 中國(guó)移動(dòng)通信集團(tuán)公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 余朦;王艷春

1.一種數(shù)據(jù)采集系統(tǒng)，包括：多個(gè)調(diào)度服務(wù)器和多個(gè)采集服務(wù)器，其中，

調(diào)度服務(wù)器包括：生成單元，生成采集任務(wù)；以及發(fā)送單元，將所述采集任務(wù)發(fā)送給所述多個(gè)采集服務(wù)器中當(dāng)前處于待接收狀態(tài)的一個(gè)采集服務(wù)器，

采集服務(wù)器包括：拆分單元，將接收到的采集任務(wù)拆分為多個(gè)子任務(wù)；以及子任務(wù)發(fā)送單元，將所述多個(gè)子任務(wù)發(fā)送給所述多個(gè)調(diào)度服務(wù)器中當(dāng)前處于待接收狀態(tài)的一個(gè)或多個(gè)調(diào)度服務(wù)器，

其中，所述調(diào)度服務(wù)器的發(fā)送單元進(jìn)一步將所述調(diào)度服務(wù)器接收到的子任務(wù)發(fā)送給所述多個(gè)采集服務(wù)器中當(dāng)前處于待接收狀態(tài)的采集服務(wù)器，

采集服務(wù)器進(jìn)一步包括：執(zhí)行單元，根據(jù)所接收的子任務(wù)，執(zhí)行數(shù)據(jù)采集。

2.如權(quán)利要求1所述的系統(tǒng)，其中，所述調(diào)度服務(wù)器的發(fā)送單元通過第一消息隊(duì)列向所述多個(gè)采集服務(wù)器發(fā)送采集任務(wù)和子任務(wù)，所述采集服務(wù)器的子任務(wù)發(fā)送單元通過第二消息隊(duì)列向所述多個(gè)調(diào)度服務(wù)器發(fā)送子任務(wù)。

3.如權(quán)利要求1所述的系統(tǒng)，其中，所述拆分單元包括：

解析模塊，解析接收到的采集任務(wù)以得到待采集數(shù)據(jù)存儲(chǔ)服務(wù)器的信息；

獲取模塊，根據(jù)所述待采集數(shù)據(jù)存儲(chǔ)服務(wù)器的信息，訪問所述待采集數(shù)據(jù)存儲(chǔ)服務(wù)器，以獲取待采集數(shù)據(jù)相關(guān)信息；以及

處理模塊，根據(jù)所述待采集數(shù)據(jù)相關(guān)信息，將所述接收到的采集任務(wù)拆分為多個(gè)子任務(wù)。

4.如權(quán)利要求3所述的系統(tǒng)，其中，所述接收到的采集任務(wù)被所述處理模塊拆分而形成的多個(gè)子任務(wù)中的每一個(gè)所對(duì)應(yīng)的待采集數(shù)據(jù)量為預(yù)定大小。

5.如權(quán)利要求4所述的系統(tǒng)，其中，所述待采集數(shù)據(jù)存儲(chǔ)服務(wù)器是FTP文檔服務(wù)器，所述待采集數(shù)據(jù)相關(guān)信息包括所述FTP文檔服務(wù)器的文件列表和各文件的大小。

6.如權(quán)利要求4所述的系統(tǒng)，其中，所述待采集數(shù)據(jù)存儲(chǔ)服務(wù)器是數(shù)據(jù)庫服務(wù)器，所述待采集數(shù)據(jù)相關(guān)信息包括所述數(shù)據(jù)庫服務(wù)器中數(shù)據(jù)表各字段類型和最大存儲(chǔ)容量。

7.一種數(shù)據(jù)采集方法，包括：

多個(gè)調(diào)度服務(wù)器的其中之一生成采集任務(wù)，將所述采集任務(wù)發(fā)送給多個(gè)采集服務(wù)器；

所述多個(gè)采集服務(wù)器中當(dāng)前處于待接收狀態(tài)的一個(gè)采集服務(wù)器接收所述采集任務(wù)，將所述采集任務(wù)拆分為多個(gè)子任務(wù)，并將所述多個(gè)子任務(wù)發(fā)送給所述多個(gè)調(diào)度服務(wù)器；

所述多個(gè)調(diào)度服務(wù)器中當(dāng)前處于待接收狀態(tài)的一個(gè)或多個(gè)調(diào)度服務(wù)器接收所述多個(gè)子任務(wù)，并將所述多個(gè)子任務(wù)發(fā)送給所述多個(gè)采集服務(wù)器；以及

多個(gè)采集服務(wù)器中當(dāng)前處于待接收狀態(tài)的一個(gè)或多個(gè)采集服務(wù)器接收所述多個(gè)子任務(wù)，并根據(jù)所接收的每個(gè)子任務(wù)，執(zhí)行數(shù)據(jù)采集。

8.如權(quán)利要求7所述的方法，其中，所述調(diào)度服務(wù)器通過第一消息隊(duì)列向所述多個(gè)采集服務(wù)器發(fā)送采集任務(wù)和子任務(wù)，所述采集服務(wù)器通過第二消息隊(duì)列向所述多個(gè)調(diào)度服務(wù)器發(fā)送子任務(wù)。

9.如權(quán)利要求6所述的方法，采集服務(wù)器將采集任務(wù)拆分為多個(gè)子任務(wù)的步驟包括：

解析所述采集任務(wù)以得到待采集數(shù)據(jù)存儲(chǔ)服務(wù)器的信息；

根據(jù)所述待采集數(shù)據(jù)存儲(chǔ)服務(wù)器的信息，訪問所述待采集數(shù)據(jù)存儲(chǔ)服務(wù)器，以獲取待采集數(shù)據(jù)相關(guān)信息；以及

根據(jù)所述待采集數(shù)據(jù)相關(guān)信息，將所述采集任務(wù)拆分為多個(gè)子任務(wù)。

10.如權(quán)利要求9所述的方法，其中，由所述采集任務(wù)拆分形成的多個(gè)子任務(wù)中的每一個(gè)所對(duì)應(yīng)的待采集數(shù)據(jù)量為預(yù)定大小。

11.如權(quán)利要求10所述的方法，其中，所述待采集數(shù)據(jù)存儲(chǔ)服務(wù)器是FTP文檔服務(wù)器，所述待采集數(shù)據(jù)相關(guān)信息包括所述FTP文檔服務(wù)器中的文件列表和各文件的大小。

12.如權(quán)利要求10所述的方法，其中，所述待采集數(shù)據(jù)存儲(chǔ)服務(wù)器是數(shù)據(jù)庫服務(wù)器，所述待采集數(shù)據(jù)相關(guān)信息包括所述數(shù)據(jù)庫服務(wù)器中數(shù)據(jù)表各字段類型和最大存儲(chǔ)容量。