[發(fā)明專(zhuān)利]一種反爬蟲(chóng)處理方法、系統(tǒng)、存儲(chǔ)介質(zhì)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202111299496.3
• 申請(qǐng)日: 2021-11-04
• 公開(kāi)（公告）號(hào): CN113961788A
• 公開(kāi)（公告）日: 2022-01-21
• 發(fā)明（設(shè)計(jì)）人: 梁志勇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 京東科技信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/951
• 分類(lèi)號(hào): G06F16/951;G06F16/955;G06F16/957;G06F16/958
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 錢(qián)娜

1.一種反爬蟲(chóng)處理方法，其特征在于，所述方法包括：

當(dāng)接收到網(wǎng)絡(luò)爬蟲(chóng)訪(fǎng)問(wèn)預(yù)先生成的各個(gè)隱蔽鏈接中的任意一個(gè)隱蔽鏈接產(chǎn)生的訪(fǎng)問(wèn)請(qǐng)求時(shí)，獲取所述網(wǎng)絡(luò)爬蟲(chóng)訪(fǎng)問(wèn)隱蔽鏈接時(shí)所使用的IP；所述各個(gè)隱蔽鏈接隱藏于HTML網(wǎng)頁(yè)文件中；

通過(guò)預(yù)設(shè)IP風(fēng)險(xiǎn)情報(bào)庫(kù)對(duì)所述IP進(jìn)行風(fēng)險(xiǎn)識(shí)別，得到風(fēng)險(xiǎn)識(shí)別結(jié)果；所述風(fēng)險(xiǎn)識(shí)別結(jié)果用于指示所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)；

基于所述風(fēng)險(xiǎn)識(shí)別結(jié)果執(zhí)行對(duì)應(yīng)的操作。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，各個(gè)隱蔽鏈接的生成過(guò)程，包括：

通過(guò)隨機(jī)鏈接生成服務(wù)，對(duì)HTML網(wǎng)頁(yè)文件中的各個(gè)URL鏈接進(jìn)行遍歷，隨機(jī)生成各個(gè)待處理鏈接；

對(duì)所述各個(gè)待處理鏈接進(jìn)行隱蔽處理，得到各個(gè)隱蔽鏈接。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述對(duì)所述各個(gè)待處理鏈接進(jìn)行隱蔽處理，得到各個(gè)隱蔽鏈接之后，還包括：

對(duì)包含所述各個(gè)隱蔽鏈接的HTML網(wǎng)頁(yè)文件進(jìn)行自動(dòng)化測(cè)試。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)預(yù)設(shè)IP風(fēng)險(xiǎn)情報(bào)庫(kù)對(duì)所述IP進(jìn)行風(fēng)險(xiǎn)識(shí)別，得到風(fēng)險(xiǎn)識(shí)別結(jié)果，包括：

從預(yù)設(shè)IP風(fēng)險(xiǎn)情報(bào)庫(kù)中獲取預(yù)設(shè)風(fēng)險(xiǎn)等級(jí)；所述預(yù)設(shè)風(fēng)險(xiǎn)等級(jí)包括高風(fēng)險(xiǎn)等級(jí)、中高風(fēng)險(xiǎn)等級(jí)、中風(fēng)險(xiǎn)等級(jí)、中低風(fēng)險(xiǎn)等級(jí)、低風(fēng)險(xiǎn)等級(jí)和無(wú)風(fēng)險(xiǎn)等級(jí)；

通過(guò)所述預(yù)設(shè)風(fēng)險(xiǎn)等級(jí)對(duì)所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)進(jìn)行評(píng)分；

和/或，若所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)的評(píng)分為第一評(píng)分，則確定所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)為所述高風(fēng)險(xiǎn)等級(jí)；

和/或，若所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)的評(píng)分為第二評(píng)分，則確定所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)為所述中高風(fēng)險(xiǎn)等級(jí)；

和/或，若所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)的評(píng)分為第三評(píng)分，則確定所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)為所述中風(fēng)險(xiǎn)等級(jí)；

和/或，若所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)的評(píng)分為第四評(píng)分，則確定所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)為所述中低風(fēng)險(xiǎn)等級(jí)；

和/或，若所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)的評(píng)分為第五評(píng)分，則確定所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)為所述低風(fēng)險(xiǎn)等級(jí)；

和/或，若所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)的評(píng)分為第六評(píng)分，則確定所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)為所述無(wú)風(fēng)險(xiǎn)等級(jí)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述風(fēng)險(xiǎn)識(shí)別結(jié)果執(zhí)行對(duì)應(yīng)的操作，包括：

若所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)為所述高風(fēng)險(xiǎn)等級(jí)或者所述中高風(fēng)險(xiǎn)等級(jí)，則對(duì)所述IP進(jìn)行攔截；

若所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)為所述中風(fēng)險(xiǎn)等級(jí)、所述中低風(fēng)險(xiǎn)等級(jí)或所述低風(fēng)險(xiǎn)等級(jí)中的任意一種，則執(zhí)行驗(yàn)證碼驗(yàn)證操作。

6.一種反爬蟲(chóng)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：

獲取單元，用于當(dāng)接收到網(wǎng)絡(luò)爬蟲(chóng)訪(fǎng)問(wèn)預(yù)先生成的各個(gè)隱蔽鏈接中的任意一個(gè)隱蔽鏈接產(chǎn)生的訪(fǎng)問(wèn)請(qǐng)求時(shí)，獲取所述網(wǎng)絡(luò)爬蟲(chóng)訪(fǎng)問(wèn)隱蔽鏈接時(shí)所使用的IP；所述各個(gè)隱蔽鏈接隱藏于HTML網(wǎng)頁(yè)文件中；

識(shí)別單元，用于通過(guò)預(yù)設(shè)IP風(fēng)險(xiǎn)情報(bào)庫(kù)對(duì)所述IP進(jìn)行風(fēng)險(xiǎn)識(shí)別，得到風(fēng)險(xiǎn)識(shí)別結(jié)果；所述風(fēng)險(xiǎn)識(shí)別結(jié)果用于指示所述IP對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)；

執(zhí)行單元，用于基于所述風(fēng)險(xiǎn)識(shí)別結(jié)果執(zhí)行對(duì)應(yīng)的操作。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，各個(gè)隱蔽鏈接的生成過(guò)程的所述獲取單元，包括：

遍歷模塊，用于通過(guò)隨機(jī)鏈接生成服務(wù)，對(duì)HTML網(wǎng)頁(yè)文件中的各個(gè)URL鏈接進(jìn)行遍歷，隨機(jī)生成各個(gè)待處理鏈接；

處理模塊，用于對(duì)所述各個(gè)待處理鏈接進(jìn)行隱蔽處理，得到各個(gè)隱蔽鏈接。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，還包括：

測(cè)試單元，用于對(duì)包含所述各個(gè)隱蔽鏈接的HTML網(wǎng)頁(yè)文件進(jìn)行自動(dòng)化測(cè)試。

9.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的指令，其中，在所述指令運(yùn)行時(shí)控制所述存儲(chǔ)介質(zhì)所在的設(shè)備執(zhí)行如權(quán)利要求1至5任意一項(xiàng)所述的反爬蟲(chóng)處理方法。

10.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器，以及一個(gè)或者一個(gè)以上的指令，其中一個(gè)或者一個(gè)以上指令存儲(chǔ)于存儲(chǔ)器中，且經(jīng)配置以由一個(gè)或者一個(gè)以上處理器執(zhí)行如權(quán)利要求1至5任意一項(xiàng)所述的反爬蟲(chóng)處理方法。