[發明專利]數據收集集群的部署方法、裝置、設備以及存儲介質

有效

• 申請號: 202110604923.8
• 申請日: 2021-05-31
• 公開（公告）號: CN113282372B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 劉亞慶
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F16/951
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 周雷

1.一種數據收集集群的部署方法，其特征在于，所述方法包括：

將ScrapydWeb組件和Selenium組件封裝在第一docker容器中以形成數據收集集群的主節點；

接收由用戶上傳的數據收集項目文件；所述數據收集項目文件為通用數據收集項目文件或者聚焦數據收集項目文件，其中，所述通用數據收集項目文件至少包括目標網站的統一資源定位系統和記錄有目標數據在所述目標網站中的位置的位置信息，所述聚焦數據收集項目文件至少包括預設的數據收集程序，所述目標網站是指從節點將要進行授權數據抓取的網站，所述目標數據是指所述從節點將要從所述目標網站中抓取的授權數據；

將Scrapyd組件封裝在第二docker容器中以形成所述數據收集集群中與所述數據收集項目文件對應的從節點；

將所述數據收集項目文件發送至所述數據收集項目文件對應的從節點，以完成所述數據收集集群的部署；

接收由用戶輸入的至少包括定時調度時刻的定時調度信息，基于所述定時調度信息調度從節點，以使所述從節點在定時調度時刻開始根據所述數據收集項目文件進行授權數據的收集；具體的，當所述數據收集項目文件為所述通用數據收集項目文件時，所述從節點用于根據所述位置信息和所述統一資源定位系統從所述目標網站中收集所述目標數據；當所述數據收集項目文件為所述聚焦數據收集項目文件時，所述從節點用于運行所述聚焦數據收集項目文件中包含的數據收集程序，以進行授權數據的抓取。

2.根據權利要求1所述的數據收集集群的部署方法，其特征在于，所述將所述數據收集項目文件發送至所述數據收集項目文件對應的從節點，以完成所述數據收集集群的部署之后，所述方法還包括：

接收由所述從節點上傳的數據收集日志；

檢測所述數據收集日志中是否存在目標關鍵詞，其中，所述目標關鍵詞是指預設的關鍵詞集合中的任意一個關鍵詞；

當檢測出所述數據收集日志中存在所述目標關鍵詞時，向所述用戶發出警告提示。

3.根據權利要求2所述的數據收集集群的部署方法，其特征在于，在檢測出所述數據收集日志中存在所述目標關鍵詞之后，所述向所述用戶發出警告提示之前，所述方法還包括：

判斷所述數據收集日志是否滿足預設的警告條件；

當所述數據收集日志滿足所述警告條件時，觸發執行所述的向所述用戶發出警告提示的步驟。

4.根據權利要求3所述的數據收集集群的部署方法，其特征在于，所述關鍵詞集合中的每一個關鍵詞均預設有對應的警告次數閾值；

以及，所述判斷所述數據收集日志是否滿足預設的警告條件，包括：

確定每一個所述目標關鍵詞在所述數據收集日志中出現的出現次數；

判斷所述數據收集日志中是否存在次數警告關鍵詞，其中，所述次數警告關鍵詞是指所對應的出現次數大于所對應的警告次數閾值的目標關鍵詞；

當所述數據收集日志中存在所述次數警告關鍵詞時，確定所述數據收集日志滿足預設的警告條件；

當所述數據收集日志中不存在所述次數警告關鍵詞時，確定所述數據收集日志不滿足所述警告條件。

5.根據權利要求4所述的數據收集集群的部署方法，其特征在于，所述關鍵詞集合中的每一個關鍵詞均預設有對應的警告時間段；

以及，在判斷出所述數據收集日志中存在所述次數警告關鍵詞之后，所述確定所述數據收集日志滿足預設的警告條件之前，所述方法還包括：

確定所述次數警告關鍵詞在所述數據收集日志中出現的出現時刻；

判斷所述次數警告關鍵詞對應的出現時刻是否在所述次數警告關鍵詞對應的警告時間段內；

當所述次數警告關鍵詞對應的出現時刻在所述次數警告關鍵詞對應的警告時間段內時，觸發執行所述的確定所述數據收集日志滿足預設的警告條件的步驟；

當所述次數警告關鍵詞對應的出現時刻不在所述次數警告關鍵詞對應的警告時間段內時，觸發執行所述的確定所述數據收集日志不滿足所述警告條件的步驟。