[發明專利]數據采集方法、裝置及存儲介質

有效

• 申請號: 201811240829.3
• 申請日: 2018-10-24
• 公開（公告）號: CN111092921B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 曹六一;張丹
• 申請（專利權）人: 北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: H04L67/1008
• 分類號: H04L67/1008;H04L67/60;H04L67/12
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 王征;劉芳

本發明提供一種數據采集方法、裝置及存儲介質，通過調度節點將調度任務發送給總控節點，總控節點接收各數據采集節點發送的運行狀態信息，并根據預設策略、預先獲取的各所述數據采集節點的處理能力信息及各數據采集節點的運行狀態信息，將調度任務分配給數據采集節點，以使數據采集節點執行調度任務。通過總控節點統一管理各數據采集節點，為每一數據采集節點均衡負載，提高數據采集的響應能力與機器資源使用率，且數據采集節點可分布在不同的機房中，充分利用多機房的帶寬與多IP地址優勢，且支持節點的動態擴容與收縮。

技術領域

本發明涉及通信技術領域，尤其涉及一種數據采集方法、裝置及存儲介質。

背景技術

數據采集需要依賴的最主要資源是帶寬、IP地址、處理器與內存，在硬件資源相對低廉的情況下處理器與內存不會成為限制采集系統規模的瓶頸，真正的瓶頸往往是帶寬與IP地址。大規模下載網頁等網絡內容需要有足夠的網絡帶寬的支持，網站通常對某個IP地址在單位時間內可訪問的次數有所限制，因此對網站大批量高時效性采集需要有足夠IP地址的支持。

目前開源的分布式采集框架，在使用時基于降低公網帶寬以及傳輸效率的要求，需要將多個采集節點部署在同一個機房的機器內，基于這種部署要求對于擁有多個機房的用戶就無法方便地利用多機房的帶寬以及多IP地址優勢。與此同時如果在一臺機器上部署多個采集程序，就無法控制每個采集程序對系統資源的消耗，而在一臺機機器上只部署一個采集程序，那么就會帶來機器資源使用率不均衡以及資源浪費的問題。

發明內容

本發明提供一種數據采集方法、裝置及存儲介質，以提高數據采集過程中的資源使用率，實現負載均衡。

本發明的第一方面是提供一種數據采集方法，應用于分布式采集系統，所述分布式采集系統包括調度節點、總控節點、以及多個數據采集節點，所述方法包括：

所述總控節點接收所述調度節點發送的調度任務；

所述總控節點接收各所述數據采集節點發送的運行狀態信息；

所述總控節點根據預設策略、預先獲取的各所述數據采集節點的處理能力信息及各所述數據采集節點的運行狀態信息，將所述調度任務分配給所述數據采集節點，以使所述數據采集節點執行所述調度任務。

進一步的，所述調度任務包括目標網頁以及所述目標網頁的調度順序，所述目標網頁以及所述目標網頁的調度順序由所述調度節點根據采集任務及預定調度策略獲取。

進一步的，述總控節點根據預設策略、預先獲取的各所述數據采集節點的處理能力信息及各所述數據采集節點的運行狀態信息，將所述調度任務分配給所述數據采集節點，包括：

所述總控節點根據網頁域名打散策略、各所述數據采集節點的處理能力信息及運行狀態信息，將所述調度任務分配給所述數據采集節點。

進一步的，所述總控節點配置有至少一個備用總控節點，以在所述總控節點出現故障時從所述至少一個備用總控節點中選舉出一個備用總控節點以替代所述總控節點。

本發明的第二方面是提供一種數據采集方法，應用于分布式采集系統，所述分布式采集系統包括調度節點、總控節點、以及多個數據采集節點，所述方法包括：

所述數據采集節點獲取自身的運行狀態信息；

所述數據采集節點將所述運行狀態信息發送給所述總控節點，以使所述總控節點根據預設策略、預先獲取的各所述數據采集節點的處理能力信息及各所述數據采集節點的運行狀態信息，將所述調度任務分配給所述數據采集節點；

所述數據采集節點接收所述總控節點分配的所述調度任務，并執行所述調度任務。

進一步的，所述數據采集節點接收所述總控節點分配的所述調度任務，并執行所述調度任務，包括：