[發明專利]一種監控任務運行的方法和設備

有效

• 申請號: 201610064486.4
• 申請日: 2016-01-29
• 公開（公告）號: CN107025224B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 吳媛媛
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張愷寧

本申請實施例涉及通信技術領域，特別涉及一種監控任務運行的方法和設備，用以針對全鏈路ETL任務進行監控預警。本申請實施例的方法包括：檢測每個ETL任務的狀態；根據檢測的狀態，從至少一個ETL任務中確定滿足設定的故障條件的故障ETL任務；針對一個故障ETL任務，確定所述故障ETL任務的第一責任方和所述故障ETL任務的至少一個下游的ETL任務的第二責任方。由于能夠在檢測到故障ETL任務后，確定故障ETL任務的第一責任方和至少一個下游的ETL任務的第二責任方，從而能夠針對全鏈路ETL任務進行監控預警，對鏈路上受到影響的ETL任務進行快速定位，為后續及時處理提供了基礎。

技術領域

本申請涉及數據處理技術領域，特別涉及一種監控任務運行的方法和設備。

背景技術

ETL(Extract-Transform-Load，即數據抽取、轉換、裝載)作為數據倉庫的核心，主要負責將數據從數據源向目標數據倉庫轉化，是實施數據倉庫的重要環節。

ETL任務是指一個將數據從源數據庫導出，并且按照一定規則進行轉換，最后導入到目標數據庫的過程。數據倉庫新產生一個ETL任務后，需要為任務配置調度屬性，以及配置該任務與其他任務之間的依賴關系，以保證新任務產生后，可以按預期的頻率、規則以及順序來調度執行，產出數據給業務系統使用。每個ETL任務既有可能依賴于其他任務，也有可能被其他的任務依賴，所有的ETL任務之間的相互關系就形成了一棵龐大的任務樹，從任何一個樹頂任務到葉子任務，都會形成一條數據鏈路。

由于任務之間相互依賴，如果鏈路中的一個任務運行出現問題(例如任務延遲、任務運行失敗等)，會導致下游所有依賴它的ETL任務也無法按時產生數據，每個ETL任務的責任方(責任人或者責任系統)都應該清楚的了解自己負責的任務的影響范圍以及是否被其他任務影響，并做到及時快速響應問題。

目前如果鏈路中的一個任務運行出現問題，針對出現問題的任務進行預警，預警效果比較差。

發明內容

本申請提供一種監控任務運行的方法和設備，用以解決現有技術中存在的目前只能針對出現問題的任務進行預警，預警效果比較差的問題。

本申請實施例提供的一種監控任務運行的方法，該方法包括：

檢測每個ETL任務的狀態；

根據檢測的狀態，從至少一個ETL任務中確定滿足設定的故障條件的故障ETL任務；

針對一個故障ETL任務，確定所述故障ETL任務的第一責任方和所述故障ETL任務的至少一個下游的ETL任務的第二責任方。

本申請實施例根據檢測的狀態，從至少一個ETL任務中確定滿足設定的故障條件的故障ETL任務；針對一個故障ETL任務，確定所述故障ETL任務的第一責任方和所述故障ETL任務的至少一個下游的ETL任務的第二責任方。由于能夠在檢測到故障ETL任務后，確定故障ETL任務的第一責任方和至少一個下游的ETL任務的第二責任方，從而能夠針對全鏈路ETL任務進行監控預警，對鏈路上受到影響的ETL任務進行快速定位，為后續及時處理提供了基礎。

可選的，根據檢測的狀態，從至少一個ETL任務中確定滿足設定的故障條件的故障ETL任務之前，還包括：

檢測每個ETL任務的重跑次數；

根據檢測的狀態，從至少一個ETL任務中確定滿足設定的故障條件的故障ETL任務，包括：

根據檢測的狀態和重跑次數，從至少一個ETL任務中確定滿足設定的故障條件的故障ETL任務。

由于根據檢測的狀態和重跑次數確定故障ETL任務，使得確定的故障ETL任務更準確。

可選的，檢測每個ETL任務的狀態和重跑次數，包括：

周期檢測每個ETL任務的狀態和重跑次數。