[發明專利]一種多級數據轉化任務的自動調度方法

有效

• 申請號: 201610066935.9
• 申請日: 2016-01-29
• 公開（公告）號: CN105740069B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 鄭安剛;陳昊;蘇良立;沈琳;李亞杰;張麗楠;譚煌
• 申請（專利權）人: 中國電力科學研究院;國家電網公司;國網計量中心
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/25
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種多級數據轉化任務的自動調度方法，其特征在于，包括步驟：

(1)初始化任務池；

(2)設置任務調度規則；

(3)設置任務調度機制；

(4)按照數據級別調度任務；

(5)執行數據任務；

(6)數據庫服務器按任務對數據進行統計分析；

所述步驟(1)中：

編制所述任務池的任務；

任務調度服務器初始化所述任務池中的任務數據；

所述步驟(2)中：

所述任務調度服務器按照數據級別設置所述任務調度規則；

所述任務調度規則包括：劃分數據級別、劃分單位級別和劃分業務優先級；

所述步驟(3)中：

所述任務調度服務器按照數據級別設置所述任務調度機制；

所述任務調度機制包括：任務執行周期、任務執行的開始時間和并行執行的任務數量；

所述步驟(4)中：

任務調度服務器按數據級別調度任務；

在任務調度服務器上按照數據級別調度任務，按照任務調度規則和調度機制從任務池中獲取任務；

所述步驟(5)中：

任務調度服務器執行數據ETL任務；

任務調度服務器發起數據ETL任務，將ETL任務掛載到相應的源端數 據庫和目標端數據庫，并啟動任務；

所述步驟(6)中：

(6)數據庫服務器按任務對數據進行統計分析，其包括：

(a)任務調度服務器實時監控任務執行進度；

(b)數據庫服務器根據任務進行數據同步和匯總；

(c)當任務完成后按照調度規則開始下次任務調度；

當本數據級別仍有未執行的任務時，任務調度服務器按照本數據級別 的調度規則調度任務進行執行，重新執行第(5)至(6)步；

當本數據級別任務全部執行完成后，存在下一數據級別時，任務調度 服務器按照數據級別的調度規則調度任務進行執行，重新執行第(4)至(6) 步；

源端數據庫與目標端數據庫通過Database link方式連接，ETL任 務通過目標端數據庫服務器進行同步，針對體量龐大的數據，在源端數 據庫服務器上進行輕度匯總后再由目標端數據庫服務器進行抽取。