[發明專利]數據收集集群的部署方法、裝置、設備以及存儲介質

有效

• 申請號: 202110604923.8
• 申請日: 2021-05-31
• 公開（公告）號: CN113282372B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 劉亞慶
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F16/951
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 周雷

本發明公開了一種數據收集集群的部署方法，包括：將ScrapydWeb組件和Selenium組件封裝在第一docker容器中以形成數據收集集群的主節點；接收由用戶上傳的數據收集項目文件；將Scrapyd組件封裝在第二docker容器中以形成所述數據收集集群中與所述數據收集項目文件對應的從節點；將所述數據收集項目文件發送至所述數據收集項目文件對應的從節點，以完成所述數據收集集群的部署；其中，所述從節點用于根據所述數據收集項目文件進行授權數據的收集，所述主節點用于進行所述從節點的管理。可見，本發明能夠使用docker容器替代真實的服務器來組成數據收集集群，從而簡化數據收集集群的部署過程，提高部署效率。本發明還涉及區塊鏈技術領域。

技術領域

本發明涉及分布式部署技術領域，尤其涉及一種數據收集集群的部署方法、裝置、計算機設備以及存儲介質。

背景技術

數據收集技術是一種常見的數據處理技術，其能夠從海量的互聯網網站中爬取出用戶需要的數據。在實際應用中，互聯網網站中存儲的數據通常較為龐大，為了保證數據爬取的數據量和效率，通常需要構建一個數據收集集群進行數據的爬取。為此，在使用數據收集技術進行網站數據的爬取之前，往往需要先完成數據收集集群的部署。在部署數據收集集群時，通常需要用戶逐一登錄數據收集集群中的服務器，并逐一在各個服務器中完成爬蟲的部署，此時，若出現數據收集集群中的服務器數量較多、服務器中的爬蟲需要頻繁更新等情況，數據收集集群的部署將會是一項非常繁瑣的任務。可見，目前的數據收集集群的部署方法的部署過程繁瑣，部署效率較低。

發明內容

本發明所要解決的技術問題在于，目前的數據收集集群的部署方法的部署過程繁瑣，部署效率較低。

為了解決上述技術問題，本發明第一方面公開了一種數據收集集群的部署方法，所述方法包括：

將ScrapydWeb組件和Selenium組件封裝在第一docker容器中以形成數據收集集群的主節點；

接收由用戶上傳的數據收集項目文件；

將Scrapyd組件封裝在第二docker容器中以形成所述數據收集集群中與所述數據收集項目文件對應的從節點；

將所述數據收集項目文件發送至所述數據收集項目文件對應的從節點，以完成所述數據收集集群的部署；

其中，所述從節點用于根據所述數據收集項目文件進行授權數據的收集，所述主節點用于進行所述從節點的管理。

本發明第二方面公開了一種數據收集集群的部署裝置，所述裝置包括：

封裝模塊，用于將ScrapydWeb組件和Selenium組件封裝在第一docker容器中以形成數據收集集群的主節點；

接收模塊，用于接收由用戶上傳的數據收集項目文件；

所述封裝模塊，還用于將Scrapyd組件封裝在第二docker容器中以形成所述數據收集集群中與所述數據收集項目文件對應的從節點；

發送模塊，用于將所述數據收集項目文件發送至所述數據收集項目文件對應的從節點，以完成所述數據收集集群的部署；

其中，所述從節點用于根據所述數據收集項目文件進行授權數據的收集，所述主節點用于進行所述從節點的管理。

本發明第三方面公開了一種計算機設備，所述計算機設備包括：

存儲有可執行程序代碼的存儲器；

與所述存儲器連接的處理器；

所述處理器調用所述存儲器中存儲的所述可執行程序代碼，執行本發明第一方面公開的數據收集集群的部署方法中的部分或全部步驟。