[發(fā)明專利]基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010848227.7
• 申請日: 2020-08-21
• 公開（公告）號: CN112015963A
• 公開（公告）日: 2020-12-01
• 發(fā)明（設(shè)計）人: 梁強;楊剛;烏蘭;連守財
• 申請（專利權(quán)）人: 北京金和網(wǎng)絡(luò)股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F8/71
• 代理公司: 北京細軟智谷知識產(chǎn)權(quán)代理有限責任公司 11471
• 代理人: 張瑞

1.一種基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，其特征在于，包括：

配置模塊，用于配置爬蟲參數(shù)；

生成模塊，用于根據(jù)所述爬蟲參數(shù)生成爬蟲程序；

爬取模塊，用于根據(jù)所述爬蟲程序進行信息爬取。

2.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，其特征在于，所述爬蟲參數(shù)包括：網(wǎng)絡(luò)網(wǎng)址和網(wǎng)頁中數(shù)據(jù)字段。

3.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，其特征在于，還包括：第一識別模塊，用于識別反爬網(wǎng)址，和/或，識別網(wǎng)頁中反爬字段。

4.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，其特征在于，還包括：

打包模塊，用于打包所述爬蟲程序。

5.根據(jù)權(quán)利要求4所述的基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，其特征在于，還包括：

部署模塊，用于將打包好的爬蟲程序部署到服務(wù)器。

6.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，其特征在于，還包括：

監(jiān)控模塊，用于對爬取過程進行監(jiān)控。

7.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，其特征在于，還包括：

輸出模塊，用于實時輸出爬蟲日志，所述爬蟲日志包括爬取內(nèi)容完整性、正確率、發(fā)送請求數(shù)和返回請求數(shù)。

8.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，其特征在于，還包括：

訂閱模塊，用于將所述爬蟲日志發(fā)送至爬蟲相關(guān)人員。

9.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，其特征在于，還包括：

第二識別模塊，用于自動識別解析規(guī)則。

10.根據(jù)權(quán)利要求5所述的基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，其特征在于，還包括：

調(diào)度模塊，用于為所述服務(wù)器添加標簽，根據(jù)標簽分配爬蟲程序。