[發明專利]大數據集群的任務監控方法及相關設備

在審

• 申請號: 202211039280.8
• 申請日: 2022-08-29
• 公開（公告）號: CN116126621A
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 趙鴻南;安雄博;吳海英;李永剛;蔣寧
• 申請（專利權）人: 馬上消費金融股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 徐晨影

1.一種大數據集群的任務監控方法，其特征在于，應用于運行有任務監控系統的電子設備中，所述任務監控系統包括數據包捕獲工具、運行監控工具以及運維子系統，所述大數據集群包括管理節點和工作節點，所述數據包捕獲工具部署于所述管理節點中，所述運行監控工具部署于所述工作節點中；所述方法包括：

通過所述數據包捕獲工具獲取所述工作節點向所述管理節點發送的心跳數據包；

若基于所述心跳數據包確定所述工作節點為異常工作節點，則通過所述運行監控工具獲取所述工作節點的任務運行日志；

通過所述運維子系統，基于預設任務分析策略和所述工作節點的任務運行日志，確定所述工作節點中的異常運行任務。

2.根據權利要求1所述的方法，其特征在于，所述預設任務分析策略包括目標篩選條件、目標分析維度和目標排序條件，所述工作節點的任務運行日志包括所述工作節點中多個運行任務的運行狀態信息，所述運行狀態信息包括每個運行任務對應的多個運行狀態數據，一個運行狀態數據對應一個分析維度；

所述通過所述運維子系統，基于預設任務分析策略和所述工作節點的任務運行日志，確定所述工作節點中的異常運行任務，包括：

通過所述運維子系統，基于所述工作節點中多個運行任務的運行狀態信息，將所述工作節點的多個運行任務中滿足所述目標篩選條件的運行任務作為候選運行任務；

若所述候選運行任務對應的目標運行狀態數據滿足所述目標排序條件，則確定所述候選運行任務為所述工作節點中的異常運行任務，其中，所述目標運行狀態數據與所述目標分析維度對應。

3.根據權利要求1所述的方法，其特征在于，所述運維子系統包括日志采集節點、消息隊列集群和日志分析節點；

所述通過所述運維子系統，基于預設任務分析策略和所述工作節點的任務運行日志，確定所述工作節點中的異常運行任務，包括：

通過所述日志采集節點從所述運行監控工具獲取所述工作節點的任務運行日志并發送給所述消息隊列集群；

通過所述日志分析節點向所述消息隊列集群訂閱所述工作節點的任務運行日志；

通過所述消息隊列集群接收所述日志分析節點發送的任務運行日志，以及將所述日志分析節點訂閱的任務運行日志發送給所述日志分析節點；

通過所述日志分析節點，基于預設任務分析策略和所述異常工作節點的任務運行日志，確定所述工作節點中的異常運行任務。

4.根據權利要求3所述的方法，其特征在于，所述日志分析節點中部署有日志處理工具、存儲單元和可視化分析工具；

所述通過所述日志分析節點，基于預設任務分析策略和所述異常工作節點的任務運行日志，確定所述工作節點中的異常運行任務，包括：

通過所述日志處理工具向所述消息隊列集群訂閱所述大數據集群中的工作節點的任務運行日志，并將所述工作節點的任務運行日志保存至所述存儲單元中；

通過所述可視化分析工具從所述存儲單元獲取所述異常工作節點的任務運行日志，以及基于預設任務分析策略和所述工作節點的任務運行日志，確定所述工作節點的異常運行任務。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

通過所述運維子系統獲取所述工作節點向所述管理節點發送的心跳數據包；

基于所述工作節點向所述管理節點發送的心跳數據包，確定所述工作節點是否異常工作節點。

6.根據權利要求5所述的方法，其特征在于，所述運維子系統包括第一運維節點或第二運維節點；所述通過所述運維子系統獲取所述工作節點向所述管理節點發送的心跳數據包，包括：

通過所述第一運維節點或第二運維節點從所述數據包捕獲工具獲取所述工作節點向所述管理節點發送的心跳數據包。

7.根據權利要求6所述的方法，其特征在于，若所述運維子系統包括第二運維節點；則所述通過所述運維子系統，基于預設任務分析策略和所述工作節點的任務運行日志，確定所述工作節點中的異常運行任務，包括：

通過所述第二運維節點從所述運行監控工具獲取所述工作節點的任務運行日志，以及基于預設任務分析策略和所述工作節點的任務運行日志，確定所述工作節點中的異常運行任務。