[發明專利]用于網頁爬取的數據處理方法及裝置

有效

• 申請號: 201410779304.2
• 申請日: 2014-12-15
• 公開（公告）號: CN104537005B
• 公開（公告）日: 2018-04-06
• 發明（設計）人: 李慶
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 吳貴明,張永明

1.一種用于網頁爬取的數據處理方法，其特征在于，包括：

在啟動爬取程序之后，獲取所述爬取程序當前爬取的網站的狀態標志位；

確定所述狀態標志位指示的爬取狀態；

若所述狀態標志位指示的所述爬取狀態為中斷爬取狀態，則判斷數據庫中記錄的當前崩潰次數是否小于預設崩潰閾值；

若所述當前崩潰次數不小于所述預設崩潰閾值，則終止所述爬取程序的工作；

若所述當前崩潰次數小于所述預設崩潰閾值，則控制所述爬取程序繼續工作；

其中，所述數據處理方法還包括：根據所述當前崩潰次數的判斷結果，更新所述狀態標志位。

2.根據權利要求1所述的數據處理方法，其特征在于，

啟動爬取程序包括：使用正在爬取狀態的第一標識設置所述數據庫中的所述當前爬取的網站的狀態標志位；

在啟動爬取程序之后，所述數據處理方法還包括：

若所述爬取程序返回的數據為異常數據，則判斷出所述爬取程序崩潰，使用所述中斷爬取狀態的第二標識修改所述當前爬取的網站的狀態標志位，并將所述數據庫中記錄的所述當前爬取的網站的當前崩潰次數加一。

3.根據權利要求2所述的數據處理方法，其特征在于，在啟動爬取程序之后，所述數據處理方法還包括：

若所述爬取程序爬取所述網站的所有網絡資源地址返回的數據均未出現異常，則確定所述爬取程序成功爬取所述網站，使用正在爬取狀態的第一標識設置將所述網站的狀態標志位。

4.根據權利要求2所述的數據處理方法，其特征在于，在判斷出所述爬取程序崩潰之后，所述數據處理方法還包括：

讀取所述異常數據中的錯誤代碼；

獲取所述錯誤代碼的爬取崩潰信息，并輸出所述爬取崩潰信息。

5.根據權利要求1至4中任意一項所述的數據處理方法，其特征在于，

若所述當前崩潰次數不小于所述預設崩潰閾值，在終止所述爬取程序的工作的同時，所述數據處理方法還包括：使用終止爬取狀態的第三標識設置所述當前爬取的網站的狀態標志位；

若所述當前崩潰次數小于所述預設崩潰閾值，在控制所述爬取程序繼續工作的同時，所述處理方法還包括：使用正在爬取狀態的第二標識設置所述當前爬取的網站的狀態標志位。

6.根據權利要求1至4中任意一項所述的數據處理方法，其特征在于，在確定所述狀態標志位指示的爬取狀態之后，所述數據處理方法還包括：

若所述狀態標志位指示的爬取狀態為正在爬取狀態或終止爬取狀態，則退出。

7.一種用于網頁爬取的數據處理裝置，其特征在于，包括：

獲取模塊，在啟動爬取程序之后，用于獲取所述爬取程序當前爬取的網站的狀態標志位；

確定模塊，用于確定所述狀態標志位指示的爬取狀態；

判斷模塊，在所述確定模塊確定的所述爬取狀態為中斷爬取狀態的情況下，用于判斷數據庫中記錄的當前崩潰次數是否小于預設崩潰閾值；

終止模塊，在所述判斷模塊的判斷結果為否的情況下，用于終止所述爬取程序的工作；

第一控制模塊，在所述判斷模塊的判斷結果為是的情況下，用于控制所述爬取程序繼續工作；

其中，所述數據處理裝置還用于根據所述當前崩潰次數的判斷結果，更新所述狀態標志位。

8.根據權利要求7所述的數據處理裝置，其特征在于，

所述數據處理裝置還包括：啟動模塊，用于使用正在爬取狀態的第一標識設置所述數據庫中的所述當前爬取的網站的狀態標志位，啟動爬取程序；

所述數據處理裝置還包括：

修改模塊，在所述爬取程序返回的數據為異常數據的情況下，用于判斷出所述爬取程序崩潰，使用所述中斷爬取狀態的第二標識修改所述當前爬取的網站的狀態標志位，并將所述數據庫中記錄的所述當前爬取的網站的當前崩潰次數加一。

9.根據權利要求8所述的數據處理裝置，其特征在于，所述數據處理裝置還包括：

第一設置模塊，在啟動爬取程序之后，若所述爬取程序爬取所述網站的所有網絡資源地址返回的數據均未出現異常，用于確定所述爬取程序成功爬取所述網站，使用正在爬取狀態的第一標識設置將所述網站的狀態標志位。