[發明專利]一種通過爬蟲狀態機管理爬蟲的方法及裝置

在審

• 申請號: 201711105662.5
• 申請日: 2017-11-10
• 公開（公告）號: CN107943866A
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 郭建輝
• 申請（專利權）人: 天脈聚源（北京）傳媒科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/48
• 代理公司: 北京尚倫律師事務所11477
• 代理人: 張亮

1.一種通過爬蟲狀態機管理爬蟲的方法，其特征在于，包括：

根據預設的爬蟲規則生成爬蟲狀態機；

將爬蟲工作分解為多個階段；

運行所述各個階段的爬蟲工作對應的爬蟲任務；

在當前階段的爬蟲任務結束后，更新所述爬蟲狀態機的當前階段的狀態；

在所述爬蟲狀態機的當前階段滿足預設的完成條件時，運行下一個階段的爬蟲工作對應的爬蟲任務。

2.如權利要求1所述的方法，其特征在于，所述將由爬蟲工作分解為多個階段，包括：

將由所述預設的爬蟲規則生成的爬蟲工作分解為多個階段；

將所述爬蟲工作的多個階段中的各個階段與所述爬蟲狀態機中的各個狀態形成一一映射關系。

3.如權利要求1所述的方法，其特征在于，所述運行所述各個階段的爬蟲工作對應的爬蟲任務，包括：

分析出所述各個階段的爬蟲工作的先后執行順序；

按照所述各個階段的先后執行順序，來運行各個階段對應的爬蟲工作對應的爬蟲任務，所述爬蟲任務的數量至少為一個。

4.如權利要求1所述的方法，其特征在于，所述在當前階段的爬蟲任務結束后，更新所述爬蟲狀態機的當前階段的狀態，包括：

運行與當前階段相應的爬蟲任務來完成當前階段；

在所述當前階段相應的爬蟲任務全部運行完成后，更新當前階段的狀態。

5.如權利要求1所述的方法，其特征在于，所述在所述爬蟲狀態機的當前階段滿足預設的完成條件時，運行下一個階段的爬蟲工作對應的爬蟲任務，包括：

實時檢測更新后的爬蟲狀態機的當前階段的狀態；

若更新后的爬蟲狀態機的當前階段為未完成狀態時，針對所述當前階段再次生成新的爬蟲任務并運行；

當所述爬蟲狀態機的當前階段為完成狀態時，繼續運行下一個階段的爬蟲工作對應的爬蟲任務，直至爬蟲狀態機的所有階段全部為完成狀態。

6.一種通過爬蟲狀態機管理爬蟲的裝置，其特征在于，包括：

生成模塊，用于根據預設的爬蟲規則生成爬蟲狀態機；

分解模塊，用于將爬蟲工作分解為多個階段；

運行模塊，用于運行所述各個階段的爬蟲工作對應的爬蟲任務；

更新模塊，用于在當前階段的爬蟲任務結束后，更新所述爬蟲狀態機的當前階段的狀態；

運行模塊，用于在所述爬蟲狀態機的當前階段滿足預設的完成條件時，運行下一個階段的爬蟲工作對應的爬蟲任務。

7.根據權利要求6的裝置，其特征在于，所述分解模塊，包括：

第一生成子模塊，用于將由所述預設的爬蟲規則生成的爬蟲工作分解為多個階段；

映射子模塊，用于將所述爬蟲工作的多個階段中的各個階段與所述爬蟲狀態機中的各個狀態形成一一映射關系。

8.根據權利要求6的裝置，其特征在于，所述運行模塊，包括：

分析子模塊，用于分析出所述各個階段的爬蟲工作的先后執行順序；

第一運行子模塊，用于按照所述各個階段的先后執行順序，來運行各個階段對應的爬蟲工作對應的爬蟲任務，所述爬蟲任務的數量至少為一個。

9.根據權利要求6的裝置，其特征在于，所述更新模塊，包括：

第二運行子模塊，用于運行與當前階段相應的爬蟲任務來完成當前階段；

更新子模塊，用于在所述當前階段相應的爬蟲任務全部運行完成后，更新當前階段的狀態。

10.根據權利要求6的裝置，其特征在于，所述運行模塊，包括：

檢測子模塊，用于實時檢測更新后的爬蟲狀態機的當前階段的狀態；

第二生成子模塊，用于若更新后的爬蟲狀態機的當前階段為未完成狀態時，針對所述當前階段再次生成新的爬蟲任務并運行；

第三運行子模塊，用于當所述爬蟲狀態機的當前階段為完成狀態時，繼續運行下一個階段的爬蟲工作對應的爬蟲任務，直至爬蟲狀態機的所有階段全部為完成狀態。