[發明專利]一種監控網絡爬蟲的方法、裝置和系統

在審

• 申請號: 201611025201.2
• 申請日: 2016-11-16
• 公開（公告）號: CN106789392A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 邱繼釗;王洪添
• 申請（專利權）人: 山東浪潮云服務信息科技有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 李世喆

1.一種監控網絡爬蟲的方法，其特征在于，包括：

監控外部的網絡爬蟲；

當監控到所述外部的網絡爬蟲運行時，記錄所述外部的網絡爬蟲產生的抓取痕跡；

將所述抓取痕跡與預設的抓取規則進行比對，根據對比結果，確定所述外部的網絡爬蟲的運行狀態。

2.根據權利要求1所述的方法，其特征在于，

所述記錄所述外部的網絡爬蟲產生的抓取痕跡，包括：

S1：記錄所述外部的網絡爬蟲確定的入口URL；

S2：記錄所述外部的網絡爬蟲從所述入口URL中提取的至少一個父URL；

S3：記錄所述外部的網絡爬蟲從每一個所述父URL中提取的至少一個子URL；

S4：將所述至少一個子URL中每一個所述子URL作為當前子URL，判斷所述當前子URL是否為葉子URL，若是，記錄所述外部的網絡爬蟲從所述當前子URL中抓取的目標數據，否則，將所述當前子URL作為父URL，執行S3。

3.根據權利要求2所述的方法，其特征在于，

當所述抓取痕跡包括URL的數量時，

所述將所述抓取痕跡與預設的抓取規則進行比對，根據對比結果，確定所述外部的網絡爬蟲的運行狀態，包括：

統計所述父URL的數量，以及每一個所述父URL對應的所述子URL的數量；

將統計的所述父URL的數量，以及所述子URL的數量，分別與所述預設的抓取規則對應的目標數量進行比對，判斷所述父URL的數量與所述子URL的數量與所述目標數量是否一致，若是，確定所述網絡爬蟲的網頁下載工作狀態正常，否則，確定所述網絡爬蟲的網頁下載工作狀態異常。

4.根據權利要求2所述的方法，其特征在于，

當所述抓取痕跡包括URL解析時，

所述將所述抓取痕跡與預設的抓取規則進行比對，根據對比結果，確定所述外部的網絡爬蟲的運行狀態，包括：

將每一個所述父URL對應的每一個所述子URL的抓取對應關系，與所述預設的抓取規則對應的目標抓取對應關系進行比對，判斷所述抓取對應關系與所述目標抓取對應關系是否一致，若是，確定所述網絡爬蟲的URL解析工作狀態正常，否則，確定所述網絡爬蟲的URL解析工作狀態異常。

5.根據權利要求2所述的方法，其特征在于，

當所述抓取痕跡包括內容抽取時，

所述將所述抓取痕跡與預設的抓取規則進行比對，根據對比結果，確定所述外部的網絡爬蟲的運行狀態，包括：

將所述網絡爬蟲抓取的目標數據，與所述預設的抓取規則對應的目標抓取數據進行比對，判斷所述目標數據與所述目標抓取數據是否一致，若是，確定所述網絡爬蟲的內容抽取工作狀態正常，否則，確定所述網絡爬蟲的內容抽取工作狀態異常。

6.一種監控網絡爬蟲的裝置，其特征在于，包括：監控單元、記錄單元和處理單元，其中，

所述監控單元，用于監控外部的網絡爬蟲；

所述記錄單元，用于當監控到所述外部的網絡爬蟲運行時，記錄所述外部的網絡爬蟲產生的抓取痕跡；

所述處理單元，用于將所述抓取痕跡與預設的抓取規則進行比對，根據對比結果，確定所述外部的網絡爬蟲的運行狀態。

7.根據權利要求6所述的網絡爬蟲運行監控的系統，其特征在于，

所述記錄單元包括：第一記錄子單元、第二記錄子單元、第三記錄子單元和判斷子單元，其中，

所述第一記錄子單元，用于記錄所述外部的網絡爬蟲確定的入口URL；

所述第二記錄子單元，用于記錄所述外部的網絡爬蟲從所述入口URL中提取的至少一個父URL；

所述第三記錄子單元，用于記錄所述外部的網絡爬蟲從每一個所述父URL中提取的至少一個子URL；

所述判斷子單元，用于將所述至少一個子URL中每一個所述子URL作為當前子URL，判斷所述當前子URL是否為葉子URL，若是，記錄所述外部的網絡爬蟲從所述當前子URL中抓取的目標數據，否則，將所述當前子URL作為父URL，并觸發所述第三記錄子單元。