[發(fā)明專利]一種網(wǎng)絡(luò)爬蟲系統(tǒng)及網(wǎng)絡(luò)爬蟲多任務(wù)執(zhí)行和調(diào)度方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310610659.4
• 申請(qǐng)日: 2013-11-26
• 公開（公告）號(hào): CN103605764B
• 公開（公告）日: 2017-10-24
• 發(fā)明（設(shè)計(jì)）人: 宋軻;劉世才;毛海濤
• 申請(qǐng)（專利權(quán)）人: TCL集團(tuán)股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F9/46
• 代理公司: 深圳市君勝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)44268
• 代理人: 王永文,劉文求

1.一種網(wǎng)絡(luò)爬蟲多任務(wù)執(zhí)行和調(diào)度方法，其特征在于，所述方法包括：

A、根據(jù)不同的內(nèi)容和網(wǎng)站特點(diǎn)，對(duì)待爬取內(nèi)容進(jìn)行細(xì)粒度切分并根據(jù)切分后內(nèi)容分別制作各爬蟲解析模板文件，設(shè)置網(wǎng)絡(luò)爬蟲分別結(jié)合各爬蟲解析模板文件形成用于執(zhí)行爬取任務(wù)的各采集模塊；

B、多個(gè)節(jié)點(diǎn)服務(wù)器上分別部署所述網(wǎng)絡(luò)爬蟲，每個(gè)節(jié)點(diǎn)服務(wù)器分別設(shè)置有用于調(diào)度爬取任務(wù)的調(diào)度器；

C、所述調(diào)度器按照預(yù)先定義的調(diào)度策略調(diào)用關(guān)聯(lián)的采集模塊執(zhí)行爬取任務(wù)進(jìn)行數(shù)據(jù)采集；

所述切分后的內(nèi)容之間無關(guān)聯(lián)性，所述各采集模塊分別對(duì)應(yīng)關(guān)聯(lián)各爬取任務(wù)；

所述各爬取任務(wù)之間無關(guān)聯(lián)性，每一爬取任務(wù)通過一獨(dú)立線程完成；

所述各爬取任務(wù)在調(diào)度器的調(diào)度下同時(shí)并發(fā)執(zhí)行；

調(diào)度器通過調(diào)用采集模塊執(zhí)行相應(yīng)爬取任務(wù)，各爬取任務(wù)之間無關(guān)聯(lián)，設(shè)置多個(gè)采集模塊并行處理多個(gè)爬取任務(wù)；

所述步驟A中根據(jù)不同的內(nèi)容和網(wǎng)站特點(diǎn)，對(duì)待爬取內(nèi)容進(jìn)行細(xì)粒度切分具體為：

當(dāng)所述待爬取內(nèi)容包括多個(gè)類型相同的網(wǎng)站時(shí)，將多個(gè)類型相同的網(wǎng)站切分為單個(gè)網(wǎng)站；

或者，當(dāng)單個(gè)網(wǎng)站包含多個(gè)內(nèi)容不同的版塊時(shí)，將單個(gè)網(wǎng)站切分為不同的版塊；

或者，當(dāng)單一板塊中包含多個(gè)頁面時(shí)，將單一板塊切分為多個(gè)頁面。

2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)爬蟲多任務(wù)執(zhí)行和調(diào)度方法，其特征在于，所述預(yù)先定義的調(diào)度策略包括：

指定所述爬取任務(wù)在一固定的節(jié)點(diǎn)服務(wù)器上執(zhí)行；

按照所述節(jié)點(diǎn)服務(wù)器節(jié)點(diǎn)等比原則在多個(gè)節(jié)點(diǎn)服務(wù)器中隨機(jī)分配爬取任務(wù)；

根據(jù)所述多個(gè)節(jié)點(diǎn)服務(wù)器當(dāng)前的資源信息，優(yōu)先選擇資源利用率低的節(jié)點(diǎn)服務(wù)器執(zhí)行爬取任務(wù)。

3.根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)爬蟲多任務(wù)執(zhí)行和調(diào)度方法，其特征在于，所述預(yù)先定義的調(diào)度策略具體設(shè)置為：

預(yù)先設(shè)置并存儲(chǔ)一信息列表，所述信息列表中存儲(chǔ)有所述節(jié)點(diǎn)服務(wù)器的IP、端口信息、爬取任務(wù)信息；讀取所述信息列表獲取爬取任務(wù)與節(jié)點(diǎn)服務(wù)器的對(duì)應(yīng)關(guān)系，按照所述對(duì)應(yīng)關(guān)系在相應(yīng)的節(jié)點(diǎn)服務(wù)器上的執(zhí)行爬取任務(wù)；

設(shè)置所述各節(jié)點(diǎn)服務(wù)器節(jié)點(diǎn)權(quán)重均為1，按照該等比原則在多個(gè)節(jié)點(diǎn)服務(wù)器中隨機(jī)分配爬取任務(wù)；

定期獲取所述多個(gè)節(jié)點(diǎn)服務(wù)器當(dāng)前的CPU、內(nèi)存資源信息，根據(jù)所獲取的資源信息優(yōu)先選擇資源利用率低的節(jié)點(diǎn)服務(wù)器執(zhí)行爬取任務(wù)，若存在資源利用率相同的節(jié)點(diǎn)服務(wù)器，則在該類節(jié)點(diǎn)服務(wù)器中隨機(jī)分配爬取任務(wù)。

4.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)爬蟲多任務(wù)執(zhí)行和調(diào)度方法，其特征在于，所述方法還包括：設(shè)置一用于保存爬取任務(wù)信息的數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)分別與所述多個(gè)節(jié)點(diǎn)服務(wù)器相連接，所述節(jié)點(diǎn)服務(wù)器上的各調(diào)度器通過各自獨(dú)立的線程定期檢查所述數(shù)據(jù)庫(kù)。

5.根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)爬蟲多任務(wù)執(zhí)行和調(diào)度方法，其特征在于，所述步驟C中所述調(diào)度器按照預(yù)先定義的調(diào)度策略調(diào)用關(guān)聯(lián)的采集模塊之前還包括：

所述節(jié)點(diǎn)服務(wù)器第一次運(yùn)行時(shí)，將所獲取的爬取任務(wù)信息初始化到所述數(shù)據(jù)庫(kù)。

6.根據(jù)權(quán)利要求3或4所述的網(wǎng)絡(luò)爬蟲多任務(wù)執(zhí)行和調(diào)度方法，其特征在于，所述步驟C具體為：到爬取任務(wù)觸發(fā)時(shí)間時(shí)，按照預(yù)先定義的調(diào)度策略，所述服務(wù)器節(jié)點(diǎn)的調(diào)度器觸發(fā)自己的觸發(fā)器獲取數(shù)據(jù)庫(kù)鎖，獲取所述數(shù)據(jù)庫(kù)鎖的調(diào)度器調(diào)用關(guān)聯(lián)的采集模塊，網(wǎng)絡(luò)爬蟲加載所述爬蟲解析模板文件采集數(shù)據(jù)，同時(shí)更新爬取任務(wù)狀態(tài)并持久化到所述數(shù)據(jù)庫(kù)。

7.一種具有權(quán)利要求1-6任一項(xiàng)所述的網(wǎng)絡(luò)爬蟲多任務(wù)執(zhí)行和調(diào)度的系統(tǒng)，其特征在于，所述系統(tǒng)包括：

數(shù)據(jù)庫(kù)：分別所述節(jié)點(diǎn)服務(wù)器連接用于保存爬取任務(wù)信息；

節(jié)點(diǎn)服務(wù)器，用于執(zhí)行網(wǎng)絡(luò)爬蟲爬取任務(wù)；所述節(jié)點(diǎn)服務(wù)器包括：

采集模塊，通過所述爬蟲解析模板文件形成用于具體執(zhí)行爬取任務(wù)并進(jìn)行數(shù)據(jù)采集；

調(diào)度器，用于按照預(yù)先定義的調(diào)度策略調(diào)用關(guān)聯(lián)的采集模塊執(zhí)行爬取任務(wù)。