[發明專利]數據采集系統和方法

在審

• 申請號: 202010914439.0
• 申請日: 2020-09-03
• 公開（公告）號: CN112035725A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 張學穎;曹六一;楊飛
• 申請（專利權）人: 北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張娜;劉芳

1.一種數據采集系統，其特征在于，包括：爬蟲管理模塊，采集集群模塊和數據落地模塊；

所述爬蟲管理模塊中部署有多個爬蟲線程，不同爬蟲線程對應的數據采集方式不同；

所述爬蟲管理模塊用于：基于調度機制，控制相應爬蟲線程通過所述采集集群模塊在網頁中采集數據，并基于濾重機制對采集到的數據進行處理，得到有效數據；

所述數據落地模塊用于獲取所述有效數據，并將所述有效數據按照預先確定的落地路徑寫入相應的內存中。

2.根據權利要求1所述的系統，其特征在于，所述爬蟲管理模塊包括調度單元，所述調度單元用于：

控制相應爬蟲線程創建對應的采集任務，并將所述采集任務發送至所述采集集群模塊，以使所述采集集群模塊根據所述采集任務采集相應的網站中的列表頁和內容頁；

解析所述列表頁和內容頁，得到衍生任務或寫入文件，所述衍生任務包括列表頁任務和內容頁任務。

3.根據權利要求2所述的系統，其特征在于，所述爬蟲管理模塊還包括濾重單元，所述濾重單元用于：

根據每個列表頁和內容頁對應的統一資源定位符URL的哈希值，對所述列表頁和內容頁進行濾重。

4.根據權利要求3所述的系統，其特征在于，所述濾重單元還用于：

根據預先設定的濾重時間點，對所述列表頁和內容頁進行濾重操作。

5.根據權利要求3所述的系統，其特征在于，所述濾重單元還用于：

根據預先設定的有效時間范圍，對所述有效時間范圍內的列表頁和內容頁進行濾重操作。

6.根據權利要求1-5任一項所述的系統，其特征在于，所述爬蟲管理模塊還包括檢查單元，所述檢查單元用于：

對所述寫入文件中包含的各個字段進行檢查，將符合預設條件的字段作為有效數據。

7.根據權利要求6所述的系統，其特征在于，所述數據落地模塊具體用于：

獲取所述多個爬蟲線程發送的有效數據，每個爬蟲線程中包含數據落地路徑信息；

根據所述數據落路徑信息，將每個爬蟲線程發送的有效數據寫入相應的數據落路徑信息對應的內存中。

8.一種數據采集方法，其特征在于，包括：

爬蟲管理模塊基于調度機制控制多個爬蟲線程通過所述采集集群模塊在網頁中采集數據，所述多個爬蟲線程是預先部署在所述爬蟲管理模塊中的，且不同爬蟲線程對應的數據采集方式不同；

爬蟲管理模塊基于濾重機制對采集到的數據進行處理，得到有效數據；

數據落地模模塊將所述有效數據按照預先確定的落地路徑寫入相應的內存中。

9.一種計算機設備，其特征在于，包括：至少一個處理器和存儲器；

所述存儲器存儲計算機執行指令；

所述至少一個處理器執行所述存儲器存儲的計算機執行指令，使得所述至少一個處理器執行如權利要求8所述的數據采集方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機執行指令，當處理器執行所述計算機執行指令時，實現如權利要求8所述的數據采集方法。