[發明專利]用于網頁爬取的數據處理方法及裝置

有效

• 申請號: 201410779304.2
• 申請日: 2014-12-15
• 公開（公告）號: CN104537005B
• 公開（公告）日: 2018-04-06
• 發明（設計）人: 李慶
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 吳貴明,張永明

技術領域

本發明涉及互聯網領域，具體而言，涉及一種用于網頁爬取的數據處理方法及裝置。

背景技術

隨著互聯網的興起，網絡中存在中大量的信息，與此同時，垂直網絡爬蟲也應運而生，垂直網絡爬蟲是一個自動下載的網頁程序，它根據既定的抓取目標，有選擇性的訪問特定網頁與相關鏈接，獲取所需要的信息。與通用爬蟲不同，垂直爬蟲，抓取與某一特定主題相關的網頁，為面向主題的用戶查詢準備數據資源。

因此，垂直爬蟲，會根據前端的配置定期的抓取特定網頁的信息資源，但是在實際爬蟲的執行的過程中，可能存在對某一網站資源抓取奔潰的情況。如何在多次對同一網站爬取時導致的崩潰問題及時處理并反應給系統處理人員，是當前需要解決的問題。

傳統的網絡爬蟲在解決爬蟲崩潰問題上會將崩潰信息記錄日志或者異常觸發機制已郵件的形式發送給系統管理人員。但是，傳統記錄日志的方式不能夠對定期爬取的爬蟲頻繁奔潰進行處理，而異常觸發機制需要系統人員對頻繁奔潰的爬蟲手工結束。

針對相關技術中解決爬蟲頻繁崩潰占用大量系統資源的問題，目前尚未提出有效的解決方案。

發明內容

本發明的主要目的在于提供一種用于網頁爬取的數據處理方法及裝置，以在一定程度上解決了相關技術中解決爬蟲崩潰問題的處理方式導致的爬取數據效率低的問題。

為了實現上述目的，根據本發明實施例的一個方面，提供了一種用于網頁爬取的數據處理方法。根據本發明的網頁爬取的數據處理方法包括：在啟動爬取程序之后，獲取所述爬取程序當前爬取的網站的狀態標志位；確定所述狀態標志位指示的爬取狀態；若所述狀態標志位指示的所述爬取狀態為中斷爬取狀態，則判斷數據庫中記錄的當前崩潰次數是否小于預設崩潰閾值；若所述當前崩潰次數不小于所述預設崩潰閾值，則終止所述爬取程序的工作；若所述當前崩潰次數小于所述預設崩潰閾值，則控制所 述爬取程序繼續工作。

進一步地，啟動爬取程序包括：使用正在爬取狀態的第一標識設置所述數據庫中的所述當前爬取的網站的狀態標志位；在啟動爬取程序之后，所述數據處理方法還包括：若所述爬取程序返回的數據為異常數據，則判斷出所述爬取程序崩潰，使用所述中斷爬取狀態的第二標識修改所述當前爬取的網站的狀態標志位，并將所述數據庫中記錄的所述當前爬取的網站的當前崩潰次數加一。

進一步地，在啟動爬取程序之后，所述數據處理方法還包括：若所述爬取程序爬取所述網站的所有網絡資源地址返回的數據均未出現異常，則確定所述爬取程序成功爬取所述網站，使用正在爬取狀態的第二第一標識設置將所述網站的狀態標志位。

進一步地，在判斷出所述爬取程序崩潰之后，所述數據處理方法還包括：讀取所述異常數據中的錯誤代碼；獲取所述錯誤代碼的爬取崩潰信息，并輸出所述爬取崩潰信息。

進一步地，若所述當前崩潰次數不小于所述預設崩潰閾值，在終止所述爬取程序的工作的同時，所述數據處理方法還包括：使用終止爬取狀態的第三標識設置所述當前爬取的網站的狀態標志位；若所述當前崩潰次數小于所述預設崩潰閾值，在控制所述爬取程序繼續工作的同時，所述處理方法還包括：使用正在爬取狀態的第二標識設置所述當前爬取的網站的狀態標志位。

進一步地，在確定所述狀態標志位指示的爬取狀態之后，所述數據處理方法還包括：若所述狀態標志位指示的爬取狀態為正在爬取狀態或終止爬取狀態，則控制所述爬取程序繼續工作。

為了實現上述目的，根據本發明實施例的另一方面，提供了一種用于網頁爬取的數據處理裝置。根據本發明的用于網頁爬取的數據處理裝置包括：獲取模塊，在啟動爬取程序之后，用于獲取所述爬取程序當前爬取的網站的狀態標志位；確定模塊，用于確定所述狀態標志位指示的爬取狀態；判斷模塊，在所述確定裝置確定的所述爬取狀態為中斷爬取狀態的情況下，用于判斷數據庫中記錄的當前崩潰次數是否小于預設崩潰閾值；終止模塊，在所述判斷模塊的判斷結果為否的情況下，用于終止所述爬取程序的工作；第一控制模塊，在所述判斷模塊的判斷結果為是的情況下，用于控制所述爬取程序繼續工作。

進一步地，所述數據處理裝置還包括：啟動模塊，用于使用正在爬取狀態的第一標識設置所述數據庫中的所述當前爬取的網站的狀態標志位，啟動爬取程序；所述數據處理裝置還包括：修改模塊，在所述爬取程序返回的數據為異常數據的情況下，用于判斷出所述爬取程序崩潰，使用所述中斷爬取狀態的第二標識修改所述當前爬取的 網站的狀態標志位，并將所述數據庫中記錄的所述當前爬取的網站的當前崩潰次數加一。