[發(fā)明專利]分布式網(wǎng)絡(luò)爬蟲抓取任務(wù)調(diào)度方法、調(diào)度端設(shè)備及抓取節(jié)點(diǎn)

有效

• 申請?zhí)枺?/td>: 201310491887.4
• 申請日: 2013-10-18
• 公開（公告）號: CN103559219A
• 公開（公告）日: 2014-02-05
• 發(fā)明（設(shè)計(jì)）人: 周東
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/48
• 代理公司: 北京邦信陽專利商標(biāo)代理有限公司 11012
• 代理人: 王昭林;金璽

1.一種分布式網(wǎng)絡(luò)爬蟲抓取任務(wù)調(diào)度方法，其特征在于，包括：

抓取任務(wù)發(fā)送步驟，為多個(gè)抓取網(wǎng)絡(luò)信息的抓取節(jié)點(diǎn)生成至少一個(gè)包括至少一個(gè)種子的抓取任務(wù)，向每個(gè)抓取節(jié)點(diǎn)發(fā)送對應(yīng)的抓取任務(wù)，所述種子為目標(biāo)網(wǎng)站的網(wǎng)絡(luò)地址，所述抓取任務(wù)用于所述抓取節(jié)點(diǎn)的線程從所述抓取任務(wù)所包括的每個(gè)種子下載并解析出抓取內(nèi)容；

抓取任務(wù)修正步驟，接收到多個(gè)抓取節(jié)點(diǎn)發(fā)送的快照數(shù)據(jù)，根據(jù)多個(gè)所述抓取節(jié)點(diǎn)的快照數(shù)據(jù)確定發(fā)送到每個(gè)抓取節(jié)點(diǎn)的抓取任務(wù)數(shù)量，以及每個(gè)抓取任務(wù)所包括的每個(gè)目標(biāo)網(wǎng)站的種子的數(shù)量，執(zhí)行抓取任務(wù)發(fā)送步驟，每個(gè)所述快照數(shù)據(jù)由所述抓取節(jié)點(diǎn)每隔預(yù)設(shè)時(shí)間生成，且所述快照數(shù)據(jù)描述所述抓取節(jié)點(diǎn)對所述抓取任務(wù)的執(zhí)行情況。

2.根據(jù)權(quán)利要求1所述的分布式網(wǎng)絡(luò)爬蟲抓取任務(wù)調(diào)度方法，其特征在于，所述快照數(shù)據(jù)包括：所述抓取節(jié)點(diǎn)的節(jié)點(diǎn)標(biāo)識、所述抓取節(jié)點(diǎn)抓取任務(wù)的總數(shù)量、所述抓取節(jié)點(diǎn)未完成的抓取任務(wù)的數(shù)量、所述抓取節(jié)點(diǎn)未完成的種子的數(shù)量，以及所述抓取節(jié)點(diǎn)未完成的種子所屬目標(biāo)網(wǎng)站的目標(biāo)網(wǎng)站標(biāo)識；

對接收到的快照數(shù)據(jù)，采用如下方式確定每個(gè)抓取節(jié)點(diǎn)的抓取任務(wù)數(shù)量：計(jì)算每個(gè)抓取節(jié)點(diǎn)的抓取任務(wù)需求數(shù)為抓取節(jié)點(diǎn)抓取任務(wù)的總數(shù)量減去抓取節(jié)點(diǎn)未完成的抓取任務(wù)的數(shù)量；按照抓取任務(wù)需求數(shù)從高到低進(jìn)行排序，向抓取任務(wù)需求數(shù)高的抓取節(jié)點(diǎn)發(fā)送的抓取任務(wù)數(shù)量大于向抓取任務(wù)需求數(shù)低的抓取節(jié)點(diǎn)發(fā)送的抓取任務(wù)數(shù)量；

對接收到的快照數(shù)據(jù)，采用如下方式確定每個(gè)抓取任務(wù)所包括的每個(gè)目標(biāo)網(wǎng)站的種子的數(shù)量：根據(jù)多個(gè)抓取節(jié)點(diǎn)發(fā)送的快照數(shù)據(jù)所包括的未完成的種子的數(shù)量，以及未完成的種子所屬目標(biāo)網(wǎng)站的目標(biāo)網(wǎng)站標(biāo)識計(jì)算每個(gè)目標(biāo)網(wǎng)站的未完成的種子的數(shù)量作為目標(biāo)網(wǎng)站需求數(shù)；按照目標(biāo)網(wǎng)站需求數(shù)從高到低進(jìn)行排序，抓取任務(wù)所包括的目標(biāo)網(wǎng)站需求數(shù)高的目標(biāo)網(wǎng)站的種子的數(shù)量大于目標(biāo)網(wǎng)站需求數(shù)低的目標(biāo)網(wǎng)站的種子的數(shù)量。

3.根據(jù)權(quán)利要求1所述的分布式網(wǎng)絡(luò)爬蟲抓取任務(wù)調(diào)度方法，其特征在于，所述快照數(shù)據(jù)包括所述抓取節(jié)點(diǎn)的節(jié)點(diǎn)標(biāo)識、所述抓取節(jié)點(diǎn)抓取出現(xiàn)異常的種子的數(shù)量，以及所述抓取節(jié)點(diǎn)抓取出現(xiàn)異常的種子所屬目標(biāo)網(wǎng)站的目標(biāo)網(wǎng)站標(biāo)識；

對接收到的快照數(shù)據(jù)，采用如下方式確定每個(gè)抓取任務(wù)所包括的每個(gè)目標(biāo)網(wǎng)站的種子的數(shù)量：根據(jù)每個(gè)抓取節(jié)點(diǎn)發(fā)送的所述抓取節(jié)點(diǎn)抓取出現(xiàn)異常的種子的數(shù)量，以及所述抓取節(jié)點(diǎn)抓取出現(xiàn)異常的種子所屬目標(biāo)網(wǎng)站的目標(biāo)網(wǎng)站標(biāo)識，確定每個(gè)抓取節(jié)點(diǎn)抓取每個(gè)目標(biāo)網(wǎng)站出現(xiàn)異常的種子的數(shù)量作為對應(yīng)抓取節(jié)點(diǎn)對應(yīng)目標(biāo)網(wǎng)站的抓取異常種子數(shù)，如果所述抓取異常種子數(shù)超過預(yù)設(shè)閾值，則減少所述抓取異常種子數(shù)對應(yīng)抓取節(jié)點(diǎn)的對應(yīng)目標(biāo)網(wǎng)站的種子的數(shù)量。

4.根據(jù)權(quán)利要求1所述的分布式網(wǎng)絡(luò)爬蟲抓取任務(wù)調(diào)度方法，其特征在于，在首次執(zhí)行抓取任務(wù)發(fā)送步驟時(shí)，所述抓取任務(wù)采用如下方式生成：

為所述抓取任務(wù)設(shè)定對應(yīng)的最大種子數(shù)，且如果所述最大種子數(shù)大于或等于所述目標(biāo)網(wǎng)站的總數(shù)量，則所述抓取任務(wù)所包括的種子所對應(yīng)的待抓網(wǎng)站的數(shù)量與所述目標(biāo)網(wǎng)站的總數(shù)量相等，如果所述最大種子數(shù)小于所述目標(biāo)網(wǎng)站的總數(shù)量，則所述抓取任務(wù)所包括的種子所對應(yīng)的目標(biāo)網(wǎng)站各不相同。

5.一種分布式網(wǎng)絡(luò)爬蟲抓取任務(wù)調(diào)度裝置，其特征在于，包括：

抓取任務(wù)發(fā)送模塊，用于為多個(gè)抓取網(wǎng)絡(luò)信息的抓取節(jié)點(diǎn)生成至少一個(gè)包括至少一個(gè)種子的抓取任務(wù)，向每個(gè)抓取節(jié)點(diǎn)發(fā)送對應(yīng)的抓取任務(wù)，所述種子為目標(biāo)網(wǎng)站的網(wǎng)絡(luò)地址，所述抓取任務(wù)用于所述抓取節(jié)點(diǎn)的線程從所述抓取任務(wù)所包括的每個(gè)種子下載并解析出抓取內(nèi)容；

抓取任務(wù)修正模塊，用于接收到多個(gè)抓取節(jié)點(diǎn)發(fā)送的快照數(shù)據(jù)，根據(jù)多個(gè)所述抓取節(jié)點(diǎn)的快照數(shù)據(jù)確定發(fā)送到每個(gè)抓取節(jié)點(diǎn)的抓取任務(wù)數(shù)量，以及每個(gè)抓取任務(wù)所包括的每個(gè)目標(biāo)網(wǎng)站的種子的數(shù)量，執(zhí)行抓取任務(wù)發(fā)送模塊，每個(gè)所述快照數(shù)據(jù)由所述抓取節(jié)點(diǎn)每隔預(yù)設(shè)時(shí)間生成，且所述快照數(shù)據(jù)描述所述抓取節(jié)點(diǎn)對所述抓取任務(wù)的執(zhí)行情況。