[發明專利]一種數據故障分析的方法及裝置

有效

• 申請號: 202110338027.1
• 申請日: 2021-03-30
• 公開（公告）號: CN112965882B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 潘振東
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F9/48;G06F9/455
• 代理公司: 北京曼威知識產權代理有限公司 11709
• 代理人: 方志煒

1.一種數據故障分析的方法，其特征在于，包括：

獲取待檢測任務；

根據所述待檢測任務所對應的任務鏈路，對所述待檢測任務進行拆分，得到所述待檢測任務所對應的各基礎任務事件；

按照預設的篩選條件，從所述各基礎任務事件中選取待檢測基礎任務事件，所述預設的篩選條件是指該基礎任務事件對業務執行的最終結果造成的影響大于設定影響閾值或者該基礎任務事件出現異常的概率大于設定異常閾值；

針對每個待檢測基礎任務事件，將該待檢測基礎任務事件按照預設的數據格式，得到格式轉換后的任務事件，并所述格式轉換后的任務事件存儲在預設的緩存中，所述預設的緩存包括：最近最少使用LRU緩存；

針對每個格式轉換后的任務事件，對該格式轉換后的任務事件進行異常檢測，判斷該格式轉換后的任務事件是否為異常事件；

若確定該基礎任務事件出現異常，確定該基礎任務事件為異常事件，并通過預設的任務控制系統，確定該異常事件在所述任務控制系統中所涉及的至少一個任務節點，獲取所述至少一個任務節點對應的節點狀態參數，以及將該異常事件與所述節點狀態參數對應存儲在預設的存儲空間中；

若監測到完成每個基礎任務事件的異常檢測，從所述存儲空間中提取各異常事件以及各異常事件對應的節點狀態參數；

根據所述各異常事件對應的節點狀態參數，對所述待檢測任務進行數據故障分析。

2.如權利要求1所述的方法，其特征在于，所述任務控制系統中包含有若干任務節點，每個任務節點中包含有至少一個任務容器，一個任務節點中包含的至少一個任務容器由調度至該任務節點的任務進程進行管理；

獲取所述至少一個任務節點對應的節點狀態參數，具體包括：

獲取調度至所述至少一個任務節點的任務進程對應的進程狀態數據，所述進程狀態數據用于表征所述任務進程的運行狀況，以及所述至少一個任務節點中包含的任務容器的運行狀況；

根據所述進程狀態數據，確定所述至少一個任務節點對應的節點狀態參數。

3.如權利要求1所述的方法，其特征在于，通過預設的任務控制系統，確定該異常事件在所述任務控制系統中所涉及的至少一個任務節點，具體包括：

通過預設的搜索算法，確定該異常事件所對應的各子任務事件，所述搜索算法包括：深度優先搜索DFS；

根據所述各子任務事件，確定該異常事件在所述任務控制系統中所涉及的至少一個任務節點。

4.如權利要求3所述的方法，其特征在于，所述方法還包括：

將所述至少一個任務節點所對應的節點信息寫入到預設的界面數據對象中；

根據所述各異常事件對應的節點狀態參數，對所述待檢測任務進行數據故障分析，具體包括：

按照所述界面數據對象，對所述各異常事件對應的節點狀態參數進行聚合，得到針對所述待檢測任務的數據故障分析結果。

5.如權利要求4所述的方法，其特征在于，所述方法還包括：

將所述數據故障分析結果進行展示，并在監測到預設的修復指令后，根據所述數據故障分析結果，確定所述任務控制系統中的異常任務節點，以及按照預設的修復方式，對所述異常任務節點進行修復，所述修復方式包括：重新為所述異常任務節點調度任務進程，重新構建所述異常任務節點中所包含的任務容器中的至少一種。

6.如權利要求1～5任一項所述的方法，其特征在于，所述任務控制系統包括：kubernetes。