[發(fā)明專(zhuān)利]數(shù)據(jù)抓取方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201811269970.6
• 申請(qǐng)日: 2018-10-29
• 公開(kāi)（公告）號(hào): CN111104575B
• 公開(kāi)（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 朱東方;鄒啟蒙;劉慶;周文軍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類(lèi)號(hào): G06F16/951
• 分類(lèi)號(hào): G06F16/951;G06F16/953
• 代理公司: 廣州鑄智知識(shí)產(chǎn)權(quán)代理有限公司 44886
• 代理人: 徐瑞紅

1.一種數(shù)據(jù)抓取方法，包括：

接收數(shù)據(jù)抓取請(qǐng)求，所述數(shù)據(jù)抓取請(qǐng)求中至少包括數(shù)據(jù)抓取任務(wù)所需的資源配置參數(shù),?其中，所述資源配置參數(shù)是用戶根據(jù)數(shù)據(jù)抓取需求而配置的參數(shù)；

根據(jù)所述資源配置參數(shù)和當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的資源配置屬性，確定當(dāng)前爬蟲(chóng)節(jié)點(diǎn)是否滿足所述資源配置參數(shù)，如果滿足，則執(zhí)行數(shù)據(jù)抓取，如果不滿足，則向所述當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的鄰近爬蟲(chóng)節(jié)點(diǎn)廣播所述數(shù)據(jù)抓取請(qǐng)求；

其中，所述數(shù)據(jù)抓取請(qǐng)求中還包括用于記錄該數(shù)據(jù)抓取請(qǐng)求的轉(zhuǎn)發(fā)次數(shù)的字段，

所述向所述當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的鄰近爬蟲(chóng)節(jié)點(diǎn)廣播所述數(shù)據(jù)抓取請(qǐng)求包括：將所述字段中記錄的轉(zhuǎn)發(fā)次數(shù)加一后，向所述當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的鄰近爬蟲(chóng)節(jié)點(diǎn)廣播所述數(shù)據(jù)抓取請(qǐng)求，

所述方法還包括：接收數(shù)據(jù)抓取請(qǐng)求后，讀取所述字段中記錄的被轉(zhuǎn)發(fā)次數(shù)，如果所述轉(zhuǎn)發(fā)次數(shù)大于預(yù)設(shè)閾值，則丟棄該接收數(shù)據(jù)抓取請(qǐng)求，否則，執(zhí)行根據(jù)所述資源配置參數(shù)和當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的資源配置屬性，確定當(dāng)前爬蟲(chóng)節(jié)點(diǎn)是否滿足所述資源配置參數(shù)的處理。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述資源配置參數(shù)包括：網(wǎng)絡(luò)帶寬、存儲(chǔ)空間、處理器性能、IP地址中的一項(xiàng)或者多項(xiàng)的組合。

3.根據(jù)權(quán)利要求1所述的方法，其中，在根據(jù)所述資源配置參數(shù)和當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的資源配置屬性，確定當(dāng)前爬蟲(chóng)節(jié)點(diǎn)是否滿足所述資源配置參數(shù)之前，還包括：

判斷所述當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的是否處于空閑狀態(tài)，如果是，則執(zhí)行根據(jù)所述資源配置參數(shù)和當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的資源配置屬性，確定當(dāng)前爬蟲(chóng)節(jié)點(diǎn)是否滿足所述資源配置參數(shù)的處理，否則，向所述當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的鄰近爬蟲(chóng)節(jié)點(diǎn)廣播所述數(shù)據(jù)抓取請(qǐng)求。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述數(shù)據(jù)抓取請(qǐng)求中還包括數(shù)據(jù)抓取量信息，

在根據(jù)所述資源配置參數(shù)和當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的資源配置屬性，確定當(dāng)前爬蟲(chóng)節(jié)點(diǎn)是否滿足所述資源配置參數(shù)之前，還包括：

根據(jù)當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的負(fù)載狀態(tài)，確定是否能夠處理與所述數(shù)據(jù)抓取量對(duì)應(yīng)的抓取任務(wù)，如果能，則執(zhí)行根據(jù)所述資源配置參數(shù)和當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的資源配置屬性，確定當(dāng)前爬蟲(chóng)節(jié)點(diǎn)是否滿足所述資源配置參數(shù)的處理，否則，向所述當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的鄰近爬蟲(chóng)節(jié)點(diǎn)廣播所述數(shù)據(jù)抓取請(qǐng)求。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述數(shù)據(jù)抓取請(qǐng)求中還至少包括數(shù)據(jù)抓取請(qǐng)求的源爬蟲(chóng)節(jié)點(diǎn)的地址信息，

所述執(zhí)行數(shù)據(jù)抓取包括：

向所述源爬蟲(chóng)節(jié)點(diǎn)返回響應(yīng)消息；

接收所述源爬蟲(chóng)節(jié)點(diǎn)發(fā)送的數(shù)據(jù)抓取任務(wù)消息，數(shù)據(jù)抓取任務(wù)消息中至少包括待抓取數(shù)據(jù)的地址信息；

根據(jù)所述抓取任務(wù)消息執(zhí)行數(shù)據(jù)抓取任務(wù)，并將抓取到的數(shù)據(jù)發(fā)送至所述源爬蟲(chóng)節(jié)點(diǎn)。

6.根據(jù)權(quán)利要求1所述的方法，其中，還包括：

從種子服務(wù)器獲取種子爬蟲(chóng)節(jié)點(diǎn)的地址信息；

通過(guò)所述種子爬蟲(chóng)節(jié)點(diǎn)獲取與當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的鄰近爬蟲(chóng)節(jié)點(diǎn)的地址信息，并與所述鄰近的爬蟲(chóng)節(jié)點(diǎn)建立路由關(guān)系。

7.根據(jù)權(quán)利要求6所述的方法，其中，通過(guò)所述種子爬蟲(chóng)節(jié)點(diǎn)獲取與當(dāng)前爬蟲(chóng)節(jié)點(diǎn)鄰近的爬蟲(chóng)節(jié)點(diǎn)的地址信息，并與所述鄰近的爬蟲(chóng)節(jié)點(diǎn)建立路由關(guān)系包括：

以種子爬蟲(chóng)節(jié)點(diǎn)作為起始的爬蟲(chóng)節(jié)點(diǎn)，利用各個(gè)爬蟲(chóng)節(jié)點(diǎn)中存儲(chǔ)的鄰近爬蟲(chóng)節(jié)點(diǎn)的地址信息，當(dāng)前爬蟲(chóng)節(jié)點(diǎn)不斷地獲取爬蟲(chóng)網(wǎng)絡(luò)系統(tǒng)中的各個(gè)爬蟲(chóng)節(jié)點(diǎn)的地址信息；

計(jì)算當(dāng)前爬蟲(chóng)節(jié)點(diǎn)與獲取到地址信息的各個(gè)爬蟲(chóng)節(jié)點(diǎn)之間的網(wǎng)絡(luò)距離；

選擇網(wǎng)絡(luò)距離小于預(yù)設(shè)距離閾值的爬蟲(chóng)節(jié)點(diǎn)和/或滿足預(yù)設(shè)數(shù)量要求的爬蟲(chóng)節(jié)點(diǎn)，作為當(dāng)前爬蟲(chóng)節(jié)點(diǎn)的鄰近爬蟲(chóng)網(wǎng)絡(luò)節(jié)點(diǎn)，并在當(dāng)前爬蟲(chóng)節(jié)點(diǎn)中存儲(chǔ)該鄰近爬蟲(chóng)網(wǎng)絡(luò)節(jié)點(diǎn)的地址信息，從而與鄰近爬蟲(chóng)網(wǎng)絡(luò)節(jié)點(diǎn)建立路由關(guān)系。