[發明專利]基于大數據的網絡爬蟲系統

在審

• 申請號: 202010848227.7
• 申請日: 2020-08-21
• 公開（公告）號: CN112015963A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 梁強;楊剛;烏蘭;連守財
• 申請（專利權）人: 北京金和網絡股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F8/71
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 張瑞

1.一種基于大數據的網絡爬蟲系統，其特征在于，包括：

配置模塊，用于配置爬蟲參數；

生成模塊，用于根據所述爬蟲參數生成爬蟲程序；

爬取模塊，用于根據所述爬蟲程序進行信息爬取。

2.根據權利要求1所述的基于大數據的網絡爬蟲系統，其特征在于，所述爬蟲參數包括：網絡網址和網頁中數據字段。

3.根據權利要求1所述的基于大數據的網絡爬蟲系統，其特征在于，還包括：第一識別模塊，用于識別反爬網址，和/或，識別網頁中反爬字段。

4.根據權利要求1所述的基于大數據的網絡爬蟲系統，其特征在于，還包括：

打包模塊，用于打包所述爬蟲程序。

5.根據權利要求4所述的基于大數據的網絡爬蟲系統，其特征在于，還包括：

部署模塊，用于將打包好的爬蟲程序部署到服務器。

6.根據權利要求1所述的基于大數據的網絡爬蟲系統，其特征在于，還包括：

監控模塊，用于對爬取過程進行監控。

7.根據權利要求1所述的基于大數據的網絡爬蟲系統，其特征在于，還包括：

輸出模塊，用于實時輸出爬蟲日志，所述爬蟲日志包括爬取內容完整性、正確率、發送請求數和返回請求數。

8.根據權利要求1所述的基于大數據的網絡爬蟲系統，其特征在于，還包括：

訂閱模塊，用于將所述爬蟲日志發送至爬蟲相關人員。

9.根據權利要求1所述的基于大數據的網絡爬蟲系統，其特征在于，還包括：

第二識別模塊，用于自動識別解析規則。

10.根據權利要求5所述的基于大數據的網絡爬蟲系統，其特征在于，還包括：

調度模塊，用于為所述服務器添加標簽，根據標簽分配爬蟲程序。