[發明專利]爬蟲調度管理平臺通信方法和爬蟲調度管理平臺系統

在審

• 申請號: 202011302154.8
• 申請日: 2020-11-19
• 公開（公告）號: CN112416550A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 劉明東
• 申請（專利權）人: 廣州探途網絡技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54;G06F11/30;G06F16/951
• 代理公司: 北京中知君達知識產權代理有限公司 11769
• 代理人: 李辰;黃啟法

本申請是關于爬蟲調度管理平臺通信方法和爬蟲調度管理平臺系統。該方法由負責下達和發送爬蟲任務的主節點、負責執行爬蟲任務的工作節點和負責數據存儲的數據存儲節點執行，工作節點主機發送包含本機唯一標識信息到數據存儲節點；數據存儲節點根據唯一標識信息在本地數據庫中查找對應的工作節點信息；確認本地數據庫中沒有對應的工作節點信息，則將工作節點信息加入到本地數據庫中；將工作節點信息發送至主節點以供主節點使用工作節點信息與工作節點進行通信。本實施例通過工作節點主動將自身信息存儲于數據存儲節點的方法，確保工作節點能夠成功注冊，進而保證了主節點與工作節點的通信穩定性。

技術領域

本申請涉及數據管理技術領域，尤其涉及爬蟲調度管理平臺通信方法和爬蟲調度管理平臺系統。

背景技術

相關技術中爬蟲調度管理平臺架構包括了一個主節點和多個工作節點、負責通信的Redis和負責數據儲存MongoDB數據庫。前端應用向主節點請求數據，主節點通過MongoDB和Redis來執行任務派發調度以及部署，工作節點收到任務之后，開始執行爬蟲任務，并將任務結果儲存到MongoDB。這種平臺架構存在如下兩個技術問題，第一：windows機使用go語言注冊工作節點時，有時候無法獲取工作節點的信息而導致工作節點無法注冊，進而導致主節點與工作節點無法通信。第二：工作節點任務量過大容易假死導致定時任務擠壓，從而導致爬蟲任務執行效率下降。

發明內容

為克服相關技術中存在的問題，本申請提供爬蟲調度管理平臺通信方法和爬蟲調度管理平臺系統，該方法能夠解決主節點與工作節點無法通信的問題。

本申請第一方面提供爬蟲調度管理平臺通信方法，方法由負責下達和發送爬蟲任務的主節點、負責執行爬蟲任務的工作節點和負責數據存儲的數據存儲節點執行，工作節點主機發送包含本機唯一標識信息到數據存儲節點；數據存儲節點根據唯一標識信息在本地數據庫中查找對應的工作節點信息；確認本地數據庫中沒有對應的工作節點信息，則將工作節點信息加入到本地數據庫中；將工作節點信息發送至主節點以供主節點使用工作節點信息與工作節點進行通信。

其中，方法還包括：確認本地數據庫中有對應的工作節點信息，則將工作節點信息發送至主節點以供主節點使用工作節點信息與工作節點進行通信。

其中，方法還包括：預設閾值時間發送心跳信息來檢測工作節點和主節點是否離線。

其中，唯一標識信息為MAC地址。

其中，方法還包括：主節點讀取數據存儲節點的工作節點信息；發送爬蟲任務給工作節點；啟動新的監聽線程監聽工作節點工作情況，其中，監聽線程在到達預設時間爬蟲任務還未執行情況下，執行進程殺死動作以終止爬蟲任務的執行。

本申請第二方面提供一種爬蟲調度管理平臺系統，包括：負責下達和發送爬蟲任務的主節點、負責執行爬蟲任務的工作節點和負責數據存儲的數據存儲節點，工作節點還用于發送包含本機唯一標識信息到數據存儲節點；數據存儲節點還用于根據唯一標識信息在本地數據庫中查找對應的工作節點信息和確認本地數據庫中沒有對應的工作節點信息，則將工作節點信息加入到本地數據庫中；主節點還用于通過本地數據庫的工作節點信息與工作節點進行通信。

其中，數據存儲節點還用于到預設閾值時間發送心跳信息來檢測工作節點和主節點是否離線。

其中，上述系統還包括數據通信節點，數據通信節點，用于啟動新的監聽線程監聽工作節點工作情況，其中，監聽線程在到達預設時間爬蟲任務還未執行情況下，執行進程殺死動作以終止爬蟲任務的執行。

其中，還包括備份節點，備份節點與主節點功能相同，如果主節點出現通信故障，則由備份節點暫時執行主節點的任務。

備份節點與主節點定時同步數據和信息。