[發(fā)明專利]一種檢測網(wǎng)絡(luò)爬蟲運行狀態(tài)的方法及裝置

有效

• 申請?zhí)枺?/td>: 201710612520.1
• 申請日: 2017-07-25
• 公開（公告）號: CN109298987B
• 公開（公告）日: 2021-10-15
• 發(fā)明（設(shè)計）人: 孫德彬
• 申請（專利權(quán)）人: 北京國雙科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 北京鼎佳達(dá)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

1.一種檢測網(wǎng)絡(luò)爬蟲運行狀態(tài)的方法，其特征在于，所述方法包括：

判斷網(wǎng)絡(luò)爬蟲爬取的當(dāng)前網(wǎng)頁是否存在訪問異常；

若存在，則根據(jù)所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站在預(yù)置對比庫中的對比頁的網(wǎng)頁地址信息，爬取所述對比頁的第一頁面內(nèi)容信息，所述預(yù)置對比庫用于存儲各個網(wǎng)站設(shè)置的對比頁，所述對比頁中包含對比頁的網(wǎng)頁地址信息和對比頁的第二頁面內(nèi)容信息；

根據(jù)所述對比頁的頁面內(nèi)容信息的爬取結(jié)果，確定所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站是否禁用所述網(wǎng)絡(luò)爬蟲。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站在預(yù)置對比庫中的對比頁的網(wǎng)頁地址信息，爬取所述對比頁的第一頁面內(nèi)容信息包括：

根據(jù)所述當(dāng)前網(wǎng)頁的地址信息獲取對應(yīng)的網(wǎng)站；

查詢所述網(wǎng)站在預(yù)置對比庫中存儲的對比頁的網(wǎng)頁地址信息；

根據(jù)所述對比頁的網(wǎng)頁地址信息，爬取所述對比頁的第一頁面內(nèi)容信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述判斷網(wǎng)絡(luò)爬蟲爬取的當(dāng)前網(wǎng)頁是否存在訪問異常包括：

爬取當(dāng)前網(wǎng)頁的頁面內(nèi)容信息，當(dāng)所述頁面內(nèi)容信息的數(shù)據(jù)量小于閾值時，確定所述當(dāng)前網(wǎng)頁存在訪問異常；

或者，獲取所述當(dāng)前網(wǎng)頁中包含的狀態(tài)碼，當(dāng)所述狀態(tài)碼存在于預(yù)置黑名單中時，確定所述當(dāng)前網(wǎng)頁存在訪問異常，其中，所述黑名單中包含有用于判斷網(wǎng)頁訪問異常的狀態(tài)碼。

4.根據(jù)權(quán)利要求1-3中任一項所述的方法，其特征在于，所述根據(jù)所述對比頁的頁面內(nèi)容信息的爬取結(jié)果，確定所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站是否禁用所述網(wǎng)絡(luò)爬蟲包括：

爬取對比頁的第一頁面內(nèi)容信息；

將所述第一頁面內(nèi)容信息與所述預(yù)置對比庫中對比頁的第二頁面內(nèi)容信息進(jìn)行比較；

若相同，則確定所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站未禁用所述網(wǎng)絡(luò)爬蟲；

若不同，則確定所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站禁用所述網(wǎng)絡(luò)爬蟲。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述判斷網(wǎng)絡(luò)爬蟲爬取的當(dāng)前網(wǎng)頁是否存在訪問異常之前，所述方法還包括：

接收含有優(yōu)先級標(biāo)識的檢索關(guān)鍵字，所述檢索關(guān)鍵字用于確定網(wǎng)站的對比頁；

根據(jù)優(yōu)先級標(biāo)識的順序確定含有所述檢索關(guān)鍵字的頁面為對比頁；

獲取所述對比頁的網(wǎng)址信息以及所述對比頁的第二頁面內(nèi)容信息，將所述對比頁的網(wǎng)址信息、所述對比頁的第二頁面內(nèi)容信息以及對應(yīng)的網(wǎng)站域名添加至所述預(yù)置對比庫。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

若確定所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站未禁用所述網(wǎng)絡(luò)爬蟲，則將所述當(dāng)前網(wǎng)頁添加入預(yù)置白名單；

若確定所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站禁用所述網(wǎng)絡(luò)爬蟲，則更換爬取策略，繼續(xù)爬取所述當(dāng)前網(wǎng)頁。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在所述網(wǎng)絡(luò)爬蟲爬取的當(dāng)前網(wǎng)頁存在訪問異常之后，所述方法還包括：

查詢所述當(dāng)前網(wǎng)頁是否存在于預(yù)置白名單中；

若不存在，則根據(jù)所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站在預(yù)置對比庫中的對比頁的網(wǎng)頁地址信息，爬取所述對比頁的第一頁面內(nèi)容信息。

8.一種檢測網(wǎng)絡(luò)爬蟲運行狀態(tài)的裝置，其特征在于，所述裝置包括：

判斷單元，用于判斷網(wǎng)絡(luò)爬蟲爬取的當(dāng)前網(wǎng)頁是否存在訪問異常；

爬取單元，用于若所述判斷單元判斷存在訪問異常 ，則根據(jù)所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站在預(yù)置對比庫中的對比頁的網(wǎng)頁地址信息，爬取所述對比頁的第一頁面內(nèi)容信息，所述預(yù)置對比庫用于存儲各個網(wǎng)站設(shè)置的對比頁，所述對比頁中包含對比頁的網(wǎng)頁地址信息和對比頁的第二頁面內(nèi)容信息；

確定單元，用于根據(jù)所述爬取單元爬取的對比頁的頁面內(nèi)容信息的爬取結(jié)果，確定所述當(dāng)前網(wǎng)頁對應(yīng)的網(wǎng)站是否禁用所述網(wǎng)絡(luò)爬蟲。

9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)包括存儲的程序，其中，在所述程序運行時控制所述存儲介質(zhì)所在設(shè)備執(zhí)行如權(quán)利要求1-7中任一項所述的檢測網(wǎng)絡(luò)爬蟲運行狀態(tài)的方法。

10.一種處理器，其特征在于，所述處理器用于運行程序，其中，所述程序運行時執(zhí)行如權(quán)利要求1-7中任一項所述的檢測網(wǎng)絡(luò)爬蟲運行狀態(tài)的方法。