[發(fā)明專利]基于Node.js的爬蟲方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011267489.0
• 申請日: 2020-11-13
• 公開（公告）號(hào): CN112380413A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 董幫付;于海生
• 申請（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951
• 代理公司: 深圳國新南方知識(shí)產(chǎn)權(quán)代理有限公司 44374
• 代理人: 周雷

1.一種基于Node.js的爬蟲方法，其特征在于，包括：

獲取待訪問隊(duì)列；其中，所述待訪問隊(duì)列包括多個(gè)訪問地址；每一所述訪問地址對應(yīng)一網(wǎng)頁；

基于所述訪問地址，調(diào)用多個(gè)爬蟲任務(wù)進(jìn)程執(zhí)行圖像下載任務(wù)；其中，每一所述爬蟲任務(wù)進(jìn)程對應(yīng)處理一所述訪問地址；

接收每一所述爬蟲任務(wù)進(jìn)程下載的圖像數(shù)據(jù)，并將所述圖像數(shù)據(jù)存儲(chǔ)至結(jié)果處理隊(duì)列中；

調(diào)用一結(jié)果處理進(jìn)程從所述結(jié)果處理隊(duì)列中取出每一所述圖像數(shù)據(jù)，并寫入至目標(biāo)文件中。

2.如權(quán)利要求1所述基于Node.js的爬蟲方法，其特征在于，所述獲取待訪問隊(duì)列，包括：

根據(jù)預(yù)設(shè)的拼接規(guī)則和目標(biāo)網(wǎng)頁地址，得到所述目標(biāo)網(wǎng)頁地址所鏈接的多個(gè)訪問地址；

將所述多個(gè)訪問地址存儲(chǔ)至所述待訪問隊(duì)列中。

3.如權(quán)利要求1所述基于Node.js的爬蟲方法，其特征在于，所述基于所述訪問地址，調(diào)用多個(gè)爬蟲任務(wù)進(jìn)程執(zhí)行圖像下載任務(wù)，包括：

在每一所述爬蟲任務(wù)進(jìn)程中，調(diào)用node.js工具中的數(shù)據(jù)請求模塊請求每一所述訪問地址對應(yīng)的網(wǎng)頁數(shù)據(jù)；

調(diào)用node.js工具中的數(shù)據(jù)解析模塊解析所述網(wǎng)頁數(shù)據(jù)，得到多個(gè)圖像下載地址；

采用異步并發(fā)的方式，按照預(yù)設(shè)時(shí)間間隔，調(diào)用所述node.js工具中的圖像下載模塊同時(shí)訪問所述多個(gè)圖像下載地址，下載所述圖像下載地址中的圖像數(shù)據(jù)。

4.如權(quán)利要求3所述基于Node.js的爬蟲方法，其特征在于，在所述采用異步并發(fā)的方式，調(diào)用所述node.js工具中的圖像下載模塊同時(shí)訪問所述多個(gè)圖像下載地址，下載所述圖像下載地址中的圖像數(shù)據(jù)之前，所述基于Node.js的爬蟲方法還包括：

將所述多個(gè)圖像下載地址存儲(chǔ)至待下載隊(duì)列中；

在所述采用異步并發(fā)的方式，調(diào)用所述node.js工具中的圖像下載模塊同時(shí)訪問所述多個(gè)圖像下載地址，下載所述圖像下載地址中的圖像數(shù)據(jù)之后，所述基于Node.js的爬蟲方法還包括：

當(dāng)所述圖像數(shù)據(jù)下載完成后，從所述待下載隊(duì)列中刪除所述圖像數(shù)據(jù)對應(yīng)的圖像下載地址。

5.如權(quán)利要求3所述基于Node.js的爬蟲方法，其特征在于，在所述采用異步并發(fā)的方式，調(diào)用所述node.js工具中的圖像下載模塊同時(shí)訪問所述多個(gè)圖像下載地址，下載所述圖像下載地址中的圖像數(shù)據(jù)之后，所述基于Node.js的爬蟲方法還包括：

對下載后的每一所述圖像數(shù)據(jù)進(jìn)行歸一化處理，得到多個(gè)歸一化后的待處理圖像；

對所述多個(gè)待處理圖像進(jìn)行相似度計(jì)算，去除所述圖像數(shù)據(jù)中所述相似度大于預(yù)設(shè)相似度閾值的圖像。

6.如權(quán)利要求1所述基于Node.js的爬蟲方法，其特征在于，在所述基于所述訪問地址，調(diào)用多個(gè)爬蟲任務(wù)進(jìn)程執(zhí)行圖像下載任務(wù)之前，所述基于Node.js的爬蟲方法還包括：

獲取訪問地址的數(shù)據(jù)量；

所述基于所述訪問地址，調(diào)用多個(gè)爬蟲任務(wù)進(jìn)程執(zhí)行圖像下載任務(wù)，包括：

當(dāng)所述數(shù)據(jù)量滿足預(yù)設(shè)閾值，則基于所述訪問地址，調(diào)用多個(gè)爬蟲任務(wù)進(jìn)程執(zhí)行圖像下載任務(wù)。

7.如權(quán)利要求1所述基于Node.js的爬蟲方法，其特征在于，在所述調(diào)用多個(gè)爬蟲任務(wù)進(jìn)程對所述待訪問隊(duì)列中的訪問地址執(zhí)行圖像下載任務(wù)之后，所述基于Node.js的爬蟲方法還包括：

監(jiān)控每一所述爬蟲任務(wù)進(jìn)程對應(yīng)的進(jìn)程狀態(tài)；

當(dāng)所述進(jìn)程狀態(tài)為異常時(shí)，則將所述爬蟲任務(wù)進(jìn)程所處理的訪問地址作為目標(biāo)地址；

重啟一新的所述爬蟲任務(wù)進(jìn)程對所述目標(biāo)地址執(zhí)行圖像下載任務(wù)。