[發明專利]數據采集方法、裝置及存儲介質

有效

• 申請號: 201811240829.3
• 申請日: 2018-10-24
• 公開（公告）號: CN111092921B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 曹六一;張丹
• 申請（專利權）人: 北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: H04L67/1008
• 分類號: H04L67/1008;H04L67/60;H04L67/12
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 王征;劉芳

1.一種數據采集方法，其特征在于，應用于分布式采集系統，所述分布式采集系統包括多個調度節點、總控節點、多個數據采集節點以及代理節點；所述多個數據采集節點布置在不同的機房中；所述方法包括：

所述總控節點接收所述調度節點發送的調度任務；所述調度任務包括目標網頁以及所述目標網頁的調度順序，所述目標網頁以及所述目標網頁的調度順序由所述調度節點根據采集任務及預定調度策略獲?。?/p>

所述總控節點接收各所述數據采集節點發送的運行狀態信息；

所述總控節點根據預設策略、預先獲取的各所述數據采集節點的處理能力信息及各所述數據采集節點的運行狀態信息，將所述調度任務分配給所述數據采集節點，以使所述數據采集節點執行所述調度任務；

所述總控節點是由所述代理節點將所有總控節點注冊到所述分布式采集系統的可靠協調系統中后根據所述可靠協調系統中的節點數據對所述所有總控節點進行選舉選出的；

所述總控節點根據預設策略、預先獲取的各所述數據采集節點的處理能力信息及各所述數據采集節點的運行狀態信息，將所述調度任務分配給所述數據采集節點，包括：

所述總控節點根據網頁域名打散策略、各所述數據采集節點的處理能力信息及運行狀態信息，將所述調度任務分配給所述數據采集節點；其中，所述網頁域名打散策略為，在有其他域名任務前提下，兩個相鄰的任務不能是相同域名任務。

2.根據權利要求1所述的方法，其特征在于，所述總控節點配置有至少一個備用總控節點，以在所述總控節點出現故障時從所述至少一個備用總控節點中選舉出一個備用總控節點以替代所述總控節點。

3.一種數據采集方法，其特征在于，應用于分布式采集系統，所述分布式采集系統包括多個調度節點、總控節點、多個數據采集節點以及代理節點；所述多個數據采集節點布置在不同的機房中；所述方法包括：

所述數據采集節點獲取自身的運行狀態信息；

所述數據采集節點將所述運行狀態信息發送給所述總控節點，以使所述總控節點根據網頁域名打散策略、預先獲取的各所述數據采集節點的處理能力信息及各所述數據采集節點的運行狀態信息，將調度任務分配給所述數據采集節點；其中，所述網頁域名打散策略為，在有其他域名任務前提下，兩個相鄰的任務不能是相同域名任務；所述調度任務為所述調度節點發送至所述總控節點的包括目標網頁以及所述目標網頁的調度順序的任務，所述目標網頁以及所述目標網頁的調度順序由所述調度節點根據采集任務及預定調度策略獲?。?/p>

所述數據采集節點接收所述總控節點分配的所述調度任務，并執行所述調度任務；

所述總控節點是由所述代理節點將所有總控節點注冊到所述分布式采集系統的可靠協調系統中后根據所述可靠協調系統中的節點數據對所述所有總控節點進行選舉選出的。

4.根據權利要求3所述的方法，其特征在于，所述數據采集節點接收所述總控節點分配的所述調度任務，并執行所述調度任務，包括：

所述數據采集節點接收到所述調度任務后，根據所述調度任務為所述數據采集節點的下載插件和解析插件分配任務，以由所述下載插件和所述解析插件分別獨立的執行所分配的任務。

5.根據權利要求4所述的方法，其特征在于，所述數據采集節點將所述運行狀態信息發送給所述總控節點，包括：

所述數據采集節點獲取其各所述下載插件和所述解析插件的運行狀態信息，將各插件的運行狀態信息以預設周期發送給所述總控節點。