[發(fā)明專利]爬蟲處理方法、裝置、服務(wù)器及計算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910965767.0
• 申請日: 2019-10-12
• 公開（公告）號: CN110851681A
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計）人: 杜曉宇
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

1.一種爬蟲處理方法，其特征在于，包括：

接收終端發(fā)送的對指定抓取任務(wù)的任務(wù)啟動指令，所述任務(wù)啟動指令包括所述指定抓取任務(wù)的第一配置記錄、第二配置記錄、第三配置記錄，所述第一配置記錄包括種子信息，所述第二配置記錄包括針對至少一類待抓取頁面中每類待抓取頁面設(shè)置的爬蟲配置信息，所述第三配置記錄包括所述每類待抓取頁面對應(yīng)的解析規(guī)則；

根據(jù)所述種子信息和所述每類待抓取頁面的爬蟲配置信息執(zhí)行爬蟲操作，得到所述每類待抓取頁面對應(yīng)的爬蟲數(shù)據(jù)集合，每類待抓取頁面對應(yīng)的所述爬蟲數(shù)據(jù)集合包括屬于該類待抓取頁面的頁面；

根據(jù)所述每類待抓取頁面對應(yīng)的解析規(guī)則，從所述每類待抓取頁面對應(yīng)的爬蟲數(shù)據(jù)集合包括的各頁面中解析出目標(biāo)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述種子信息和所述每類待抓取頁面的爬蟲配置信息執(zhí)行爬蟲操作，得到所述每類待抓取頁面對應(yīng)的爬蟲數(shù)據(jù)集合，包括：

將所述種子信息包括的至少一個種子鏈接地址寫入待抓取鏈接地址隊(duì)列；

從待抓取鏈接隊(duì)列中取出寫入時間最早的第一種子鏈接地址，訪問并下載所述第一種子鏈接地址對應(yīng)的頁面，并將第一種子鏈接地址寫入已抓取鏈接地址隊(duì)列；

基于每類待抓取頁面對應(yīng)的爬蟲配置信息包括的匹配規(guī)則，從所述第一種子鏈接地址對應(yīng)的頁面中，匹配出屬于該類待抓取頁面的頁面，并提取屬于該類待抓取頁面的頁面中的鏈接地址，將提取的鏈接地址寫入所述待抓取鏈接地址隊(duì)列；

從所述待抓取鏈接地址隊(duì)列中取出寫入時間最早的目標(biāo)鏈接地址，訪問并下載所述目標(biāo)鏈接地址對應(yīng)的頁面，并將所述目標(biāo)鏈接地址寫入已抓取鏈接地址隊(duì)列；

基于每類待抓取頁面對應(yīng)的爬蟲配置信息包括的匹配規(guī)則，從所述目標(biāo)鏈接地址對應(yīng)的頁面中，匹配出屬于該類待抓取頁面的頁面，并提取屬于該類待抓取頁面的頁面中的鏈接地址，將提取的鏈接地址寫入所述待抓取鏈接地址隊(duì)列，重復(fù)執(zhí)行所述從所述待抓取鏈接地址隊(duì)列中取出寫入時間最早的目標(biāo)地址的步驟，直到滿足預(yù)設(shè)條件時停止爬蟲操作。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述提取屬于該類待抓取頁面的頁面中的鏈接地址，將提取的鏈接地址寫入所述待抓取鏈接地址隊(duì)列，包括：

提取屬于該類待抓取頁面的頁面中的新增鏈接地址，并將提取的新增鏈接地址寫入所述待抓取鏈接地址隊(duì)列；所述新增鏈接地址是指未放入所述已抓取鏈接地址隊(duì)列的地址。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)條件包括以下至少一項(xiàng)：待抓取鏈接地址隊(duì)列為空、抓取操作的運(yùn)行時長為預(yù)設(shè)運(yùn)行時長、已抓取鏈接地址隊(duì)列中的鏈接地址的數(shù)量達(dá)到預(yù)設(shè)抓取數(shù)量、針對每類待抓取頁面提取的新增鏈接地址的總量達(dá)到各自對應(yīng)的最大發(fā)現(xiàn)量。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在根據(jù)所述每類待抓取頁面對應(yīng)的解析規(guī)則，從所述每類待抓取頁面對應(yīng)的爬蟲數(shù)據(jù)集合包括的各頁面中解析出目標(biāo)數(shù)據(jù)之前，所述方法還包括：

當(dāng)所述至少一類待抓取頁面中目標(biāo)類待抓取頁面對應(yīng)的爬蟲配置信息包括預(yù)設(shè)的錯誤標(biāo)簽時，判斷所述目標(biāo)類待抓取頁面對應(yīng)的爬蟲數(shù)據(jù)集合中是否存在包括所述錯誤標(biāo)簽的頁面，如果存在，則刪除所述包括所述錯誤標(biāo)簽的頁面；所述目標(biāo)類待抓取頁面為所述至少一類待抓取頁面中的任一待抓取頁面；或者，

當(dāng)所述目標(biāo)類待抓取頁面對應(yīng)的爬蟲配置信息包括預(yù)設(shè)的正確標(biāo)簽時，判斷所述目標(biāo)類待抓取頁面對應(yīng)的爬蟲數(shù)據(jù)集合中是否存在不包括所述正確標(biāo)簽的頁面，如果存在，則刪除所述不包括所述正確標(biāo)簽的頁面；

所述根據(jù)所述每類待抓取頁面對應(yīng)的解析規(guī)則，從所述每類待抓取頁面對應(yīng)的爬蟲數(shù)據(jù)集合包括的各頁面中解析出目標(biāo)數(shù)據(jù)，包括：

根據(jù)所述每類待抓取頁面對應(yīng)的解析規(guī)則，從所述每類待抓取頁面對應(yīng)的執(zhí)行刪除操作后的爬蟲數(shù)據(jù)集合包括的各頁面中解析出目標(biāo)數(shù)據(jù)。