[發明專利]一種數據采集系統和數據采集方法

在審

• 申請號: 201710934808.0
• 申請日: 2017-10-10
• 公開（公告）號: CN107506502A
• 公開（公告）日: 2017-12-22
• 發明（設計）人: 邢文濤;劉瑞慧;于曉晨;王崗
• 申請（專利權）人: 山東浪潮云服務信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 李世喆

技術領域

本發明涉及計算機技術領域，特別涉及一種數據采集系統和數據采集方法。

背景技術

大數據是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更前的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。通過對大數據進行分析，可以獲得很多智能的、深入的且有價值的信息，對于企業的發展、社會的管理具有重要意義。在對大數據進行分析之前，首先需要采集大數據，而目前一般通過網絡爬蟲來獲取大數據。

目前，在通過網絡爬蟲采集數據時，在確定需要進行爬取的網頁后，爬蟲節點對網頁上的信息進行爬取，獲得網頁上包括的數據。

針對目前通過網絡爬蟲進行數據采集的方法，通常通過單節點爬蟲爬取網頁上的數據，受CPU(Central Processing Unit，中央處理器)、IO(Input/Output，輸入/輸出)和帶寬等多重因素的限制，單節點爬蟲爬取數據的效率較低，導致數據采集的效率較低。

發明內容

本發明實施例提供了一種數據采集系統和數據采集方法，能夠提高數據采集的效率。

第一方面，本發明實施例提供了一種數據采集系統，包括：控制節點、存儲節點和至少兩個爬取節點；

所述控制節點，用于根據獲取到的至少一個主URL，確定至少兩個待爬取URL，并將所述至少兩個待爬取URL分發給所述至少兩個爬取節點；

每一個所述爬取節點，用于針對接收到的每一個所述待爬取URL，采集所述待爬取URL所對應網頁上的數據，并從采集到的所述數據中獲取目標數據發送給所述存儲節點；

所述存儲節點，用于將各個所述爬取節點發送的所述目標數據存儲到指定的存儲空間。

可選地，

所述控制節點、所述存儲節點和所述至少兩個爬取節點位于同一物理主機上。

可選地，

所述控制節點、所述存儲節點和所述至少兩個爬取節點位于不同的物理主機上。

可選地，

所述控制節點，用于針對每一個所述主URL，根據預先設定的爬取深度對所述主URL所對應網頁進行解析，獲得與所述主URL之間層級數滿足所述爬取深度的至少一個第一URL，通過預先定義的正則表達式從所述至少一個第一URL中篩選包括預設關鍵詞的第二URL，對所述第二URL進行去重處理后獲得所述待爬取URL。

可選地，

所述控制節點，用于根據各個所述爬取節點的性能參數，通過分布式消息傳遞的方式將所述至少兩個待爬取URL分發給所述至少兩個爬取節點。

可選地，

每一個所述爬取節點，用于針對所述控制節點分發的每一個所述待爬取URL，依次對所述待爬取URL的HTML頁面進行解析，通過預先定義的正則表達式從解析出的數據中篩選包括預設關鍵詞的數據作為所述目標數據。

可選地，

每一個所述爬取節點，對獲取到的所述目標數據進行序列化處理和壓縮處理，并將進行序列化處理和壓縮處理后的所述目標數據發送給所述存儲節點；

所述存儲節點，用于針對每一個所述爬取節點發送的所述目標數據，依次對所述目標數據進行解壓處理和反序列化處理，并將進行解壓處理和反序列化處理后的所述目標數據存儲到所述指定的存儲空間。

可選地，

每一個所述爬取節點，進一步用于在采集所述待爬取URL所對應網頁上的數據時，對訪問請求的頭文件和IP地址進行輪換，將加載所述待爬取URL所對應網頁的瀏覽器的cookie設置為禁用狀態，其中，所述訪問請求為所述爬取節點對所述待爬取URL所對應網頁上數據進行采集時發送的訪問請求。

第二方面，本發明實施例還提供了一種數據采集方法，包括：

獲取至少一個主URL；

根據所述至少一個主URL確定至少兩個待爬取URL；

將所述至少兩個待爬取URL分發給至少兩個爬取節點；

針對每一個所述待爬取URL，通過接收到所述待爬取URL的所述爬取節點，采集所述待爬取URL所對應網頁上的數據，并從采集到的所述數據中獲取目標數據；

將通過各個所述爬取節點獲取到的所述目標數據存儲到指定的存儲空間。

可選地，

所述根據所述至少一個主URL確定至少兩個待爬取URL，包括：