[發(fā)明專利]基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010848227.7
• 申請日: 2020-08-21
• 公開（公告）號: CN112015963A
• 公開（公告）日: 2020-12-01
• 發(fā)明（設(shè)計）人: 梁強;楊剛;烏蘭;連守財
• 申請（專利權(quán)）人: 北京金和網(wǎng)絡(luò)股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F8/71
• 代理公司: 北京細軟智谷知識產(chǎn)權(quán)代理有限責任公司 11471
• 代理人: 張瑞

本申請涉及一種基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)包括配置模塊，用于配置爬蟲參數(shù)；生成模塊，用于根據(jù)爬蟲參數(shù)生成爬蟲程序；爬取模塊，用于根據(jù)爬蟲程序進行信息爬取。本申請可以準確爬取配置參數(shù)配置的內(nèi)容，減少無效爬取數(shù)據(jù)量，提高爬取效率，適應(yīng)性大數(shù)據(jù)網(wǎng)絡(luò)要求。

技術(shù)領(lǐng)域

本申請屬于爬蟲技術(shù)領(lǐng)域，具體涉及一種基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，大數(shù)據(jù)時代已經(jīng)到來，數(shù)據(jù)采集成為至關(guān)重要的環(huán)節(jié)。爬蟲系統(tǒng)作為數(shù)據(jù)采集的一個重要源頭，發(fā)揮著不可替代的作用。傳統(tǒng)網(wǎng)絡(luò)爬蟲最大的應(yīng)用場景是搜索引擎，普通的企業(yè)更多是做網(wǎng)站或應(yīng)用。網(wǎng)絡(luò)爬蟲負責從各個網(wǎng)站采集儲存互聯(lián)網(wǎng)信息，將其作為搜索引擎公司提供搜索服務(wù)的數(shù)據(jù)支撐。網(wǎng)絡(luò)爬蟲讓體量巨大的互聯(lián)網(wǎng)變得可以搜索，使爆炸式增長的互聯(lián)網(wǎng)變得更加容易訪問和獲取，在可預見的未來，互聯(lián)網(wǎng)爬蟲技術(shù)將繼續(xù)得到發(fā)展。互聯(lián)網(wǎng)作為人類歷史最大的知識倉庫，是非結(jié)構(gòu)化或非標準化的。互聯(lián)網(wǎng)上聚集了大量的文本、圖片、多媒體等數(shù)據(jù)，內(nèi)容雖然非常有價值，但是知識提取的難度仍然非常巨大。現(xiàn)有的網(wǎng)絡(luò)爬蟲系統(tǒng)不能識別有效數(shù)據(jù)，盲目爬取網(wǎng)頁所有信息，不僅費時，而且爬取效率低，難以應(yīng)用與大數(shù)據(jù)網(wǎng)絡(luò)的信息爬取。

發(fā)明內(nèi)容

為至少在一定程度上克服現(xiàn)有的網(wǎng)絡(luò)爬蟲系統(tǒng)不能識別有效數(shù)據(jù)，盲目爬取網(wǎng)頁所有信息，不僅費時，而且爬取效率低，難以應(yīng)用與大數(shù)據(jù)網(wǎng)絡(luò)的信息爬取的問題，本申請?zhí)峁┮环N基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，包括：

配置模塊，用于配置爬蟲參數(shù)；

生成模塊，用于根據(jù)所述爬蟲參數(shù)生成爬蟲程序；

爬取模塊，用于根據(jù)所述爬蟲程序進行信息爬取。

進一步的，所述爬蟲參數(shù)包括：網(wǎng)絡(luò)網(wǎng)址和網(wǎng)頁中數(shù)據(jù)字段。

進一步的，還包括：第一識別模塊，用于識別反爬網(wǎng)址，和/或，識別網(wǎng)頁中反爬字段。

進一步的，還包括：

打包模塊，用于打包所述爬蟲程序。

進一步的，還包括：

部署模塊，用于將打包好的爬蟲程序部署到服務(wù)器。

進一步的，還包括：

監(jiān)控模塊，用于對爬取過程進行監(jiān)控。

進一步的，還包括：

輸出模塊，用于實時輸出爬蟲日志，所述爬蟲日志包括爬取內(nèi)容完整性、正確率、發(fā)送請求數(shù)和返回請求數(shù)。

進一步的，還包括：

訂閱模塊，用于將所述爬蟲日志發(fā)送至爬蟲相關(guān)人員。

進一步的，還包括：

第二識別模塊，用于自動識別解析規(guī)則。

進一步的，還包括：

調(diào)度模塊，用于為所述服務(wù)器添加標簽，根據(jù)標簽分配爬蟲程序。

本申請的實施例提供的技術(shù)方案可以包括以下有益效果：

本發(fā)明實施例提供的基于大數(shù)據(jù)的網(wǎng)絡(luò)爬蟲系統(tǒng)，通過配置模塊配置爬蟲參數(shù)，生成模塊根據(jù)爬蟲參數(shù)生成爬蟲程序，爬取模塊根據(jù)爬蟲程序進行信息爬取，可以準確爬取配置參數(shù)配置的內(nèi)容，減少無效爬取數(shù)據(jù)量，提高爬取效率，適應(yīng)性大數(shù)據(jù)網(wǎng)絡(luò)要求。

應(yīng)當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本申請。

附圖說明

此處的附圖被并入說明書中并構(gòu)成本說明書的一部分，示出了符合本申請的實施例，并與說明書一起用于解釋本申請的原理。