[發明專利]大數據集群的任務監控方法及相關設備

在審

• 申請號: 202211039280.8
• 申請日: 2022-08-29
• 公開（公告）號: CN116126621A
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 趙鴻南;安雄博;吳海英;李永剛;蔣寧
• 申請（專利權）人: 馬上消費金融股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 徐晨影

本申請公開了一種大數據集群的任務監控方法及相關設備。方法應用于運行有任務監控系統的電子設備中，任務監控系統包括數據包捕獲工具、運行監控工具以及運維子系統，大數據集群包括管理節點和工作節點，數據包捕獲工具部署于管理節點，運行監控工具部署于工作節點中，方法包括：通過數據包捕獲工具獲取工作節點向管理節點發送的心跳數據包；若基于心跳數據包確定工作節點為異常工作節點，則通過運行監控工具獲取工作節點的任務運行日志；通過運維子系統，基于預設任務分析策略和工作節點的任務運行日志，確定工作節點中的異常運行任務。

技術領域

本申請涉及大數據技術領域，尤其涉及一種大數據集群的任務監控方法及相關設備。

背景技術

隨著業務發展和時間推移，傳統的關系型數據庫在性能和容量方面難以支撐海量的數據存儲及數據分析等需求，以分布式文件系統(Hadoop?Distributed?File?System，HDFS)為代表的大數據集群應運而生。大數據集群通常包括管理節點和多個工作節點，每個工作節點在管理節點的控制下執行相應任務，以滿足海量的數據存儲及數據分析等需求。受到各種因素的影響，工作節點時長會出現異常，若大數據集群中的異常工作節點數量達到一定閾值，就會出現數據庫丟失，導致大數據集群失去對外提供數據服務的能力。此時，就需要快速識別大數據集群中異常的工作節點及導致該工作節點異常的運行任務，以便及時恢復大數據集群的數據服務能力。

目前，傳統的大數據集群監控方案是由人工采集各類相關數據再進行人工判研。但是，這種方案不僅費時費力、浪費運維人員成本，還受限于人為經驗和熟練程度，無法保證采集數據的時效性、準確性和全面性，進而無法保證監控時效性和準確性。

發明內容

本申請實施例提供一種大數據集群的任務監控方法及相關設備，用于解決傳統的異常分析方案存在的費時費力、浪費運維人員成本依據無法保證最終識別結果的準確性的問題。

為了實現上述目的，本申請實施例采用下述技術方案：

第一方面，本申請實施例提供一種大數據集群的任務監控方法，應用于運行有任務監控系統的電子設備中，所述任務監控系統包括數據包捕獲工具、運行監控工具以及運維子系統，所述大數據集群包括管理節點和工作節點，所述數據包捕獲工具部署于所述管理節點，所述運行監控工具部署于所述工作節點中；所述方法包括：

通過所述數據包捕獲工具獲取所述工作節點向所述管理節點發送的心跳數據包；

若基于所述心跳數據包確定所述工作節點為異常工作節點，則通過所述運行監控工具獲取所述工作節點的任務運行日志；

通過所述運維子系統，基于預設任務分析策略和所述工作節點的任務運行日志，確定所述工作節點的異常運行任務。

第二方面，本申請實施例提供一種大數據集群的任務監控裝置，應用于運行有任務監控系統的電子設備中，所述任務監控系統包括數據包捕獲工具、運行監控工具以及運維子系統，所述大數據集群包括管理節點和工作節點，所述數據包捕獲工具部署于所述管理節點，所述運行監控工具部署于所述工作節點中；所述裝置包括：

獲取單元，用于所述數據包捕獲工具獲取所述工作節點向所述管理節點發送的心跳數據包；

所述獲取單元，還用于若基于所述心跳數據包確定所述工作節點為異常工作節點，則通過所述運行監控工具獲取所述工作節點的任務運行日志；

確定單元，用于通過所述運維子系統，基于預設任務分析策略和所述工作節點的任務運行日志，確定所述工作節點中的異常運行任務。

第三方面，本申請實施例提供一種電子設備，包括：

處理器；

用于存儲所述處理器可執行指令的存儲器；

其中，所述處理器被配置為執行所述指令，以實現如第二方面所述的方法。