[發明專利]網絡爬蟲系統和基于網絡爬蟲系統的數據處理方法

在審

• 申請號: 201610798817.7
• 申請日: 2016-08-31
• 公開（公告）號: CN107784036A
• 公開（公告）日: 2018-03-09
• 發明（設計）人: 崔志伸
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 韓建偉,張永明

1.一種網絡爬蟲系統，其特征在于，包括：多個功能模塊，其中，每個所述功能模塊之間能夠相互進行通信；

所述多個功能模塊中的任一功能模塊在接收到任務后，根據所述任務對應的流轉信息，確定執行所述任務的功能模塊以及所述任務的執行順序，并將所述任務發送給相應的功能模塊，以使所述功能模塊按照所述執行順序執行所述任務。

2.根據權利要求1所述的系統，其特征在于，所述多個功能模塊至少包括：

網頁爬取模塊，用于根據有效鏈接地址，從互聯網上獲取所述有效鏈接地址對應的網頁內容；

結果處理模塊，用于將所述任務的執行結果存儲于相應的存儲區域，并結束本次任務；或者，在所述任務的執行結果出現錯誤或接收到預設指令后，生成新的待執行任務。

3.根據權利要求2所述的系統，其特征在于，所述多個功能模塊還包括：

鏈接抽取模塊，用于從所述網頁內容中抽取有效鏈接；和/或

網頁處理模塊，用于對所述網頁內容進行第一預設處理，其中，所述第一預設處理包括：網頁篩選和/或鏈接篩選；和/或

鏈接處理模塊，用于對所述有效鏈接進行第二預設處理，其中，所述第二預設處理包括：變形、刪除和/或添加。

4.根據權利要求1至3任一項所述的系統，其特征在于，所述系統還包括：

中央模塊，用于保存每個所述功能模塊的注冊地址，并且能夠與每個所述功能模塊進行通信。

5.根據權利要求4所述的系統，其特征在于，每個所述功能模塊包括：

地址獲取單元，用于根據所述執行順序獲取目標功能模塊的注冊地址,所述目標功能模塊為接收當前功能模塊任務執行結果的功能模塊；

接收單元，用于接收所述任務；

處理單元，用于執行所述任務；

發送單元，用于將所述任務的執行結果發送給所述目標功能模塊。

6.根據權利要求5所述的系統，其特征在于，每個所述功能模塊還包括：

第一資源調整單元，用于在所述任務的等待時間超過預設時間的情況下，增加所述處理單元的數量；

第二資源調整單元，用于在執行所述任務的資源消耗超過預設閾值的情況下，減少所述處理單元的數量。

7.一種基于網絡爬蟲系統的數據處理方法，其特征在于，所述網絡爬蟲系統為權利要求1至6中任一項所述的網絡爬蟲系統，所述方法包括：

所述多個功能模塊中的任一功能模塊在接收到任務后，根據所述任務對應的流轉信息，確定執行所述任務的功能模塊以及所述任務的執行順序；

將所述任務發送給相應的功能模塊，以使所述功能模塊按照所述執行順序執行所述任務。

8.根據權利要求7所述的方法，其特征在于，所述方法還包括：

根據有效鏈接地址，從互聯網上獲取所述有效鏈接地址對應的網頁內容；

將所述任務的執行結果存儲于相應的存儲區域，并結束本次任務；或者，在所述任務的執行結果出現錯誤或接收到預設指令后，生成新的待執行任務；和/或

從所述網頁內容中抽取有效鏈接；和/或

對所述網頁內容進行第一預設處理，其中，所述第一預設處理包括：網頁篩選和/或鏈接篩選；和/或

對所述有效鏈接進行第二預設處理，其中，所述第二預設處理包括：變形、刪除和/或添加。

9.根據權利要求7或8所述的方法，其特征在于，所述將所述任務發送給相應的功能模塊，包括：

獲取所述相應的功能模塊的注冊地址；

根據所述注冊地址將所述任務發送給所述相應的功能模塊。

10.根據權利要求9所述的方法，其特征在于，所述方法還包括：

在所述任務的等待時間超過預設時間的情況下，增加處理單元的數量；

在執行所述任務的資源消耗超過預設閾值的情況下，減少所述處理單元的數量。