[發明專利]一種多級數據轉化任務的自動調度方法

有效

• 申請號: 201610066935.9
• 申請日: 2016-01-29
• 公開（公告）號: CN105740069B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 鄭安剛;陳昊;蘇良立;沈琳;李亞杰;張麗楠;譚煌
• 申請（專利權）人: 中國電力科學研究院;國家電網公司;國網計量中心
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/25
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

本發明提供了一種多級數據轉化任務的自動調度方法，該法包括：1)任務調度服務器初始化任務池；2)設置任務調度規則；3)設置任務調度機制；4)按照數據級別調度任務；5)執行數據任務；6)源端數據庫服務器和目標端數據庫服務器中數據同步。本發明根據基礎業務數據量的大小，使每個階段都可對基礎業務數據進行輕度匯總后再同步，最大限度壓縮數據收集、處理及分析的耗時，提升數據統計匯總效率。

技術領域

本發明涉及任務自動調度方法，具體講涉及一種多級數據轉化任務的自動調度方法。

背景技術

國網計量生產調度平臺(簡稱SG-MDS)需要按照省級供電單位、省級計量生產調度平臺(簡稱MDS)的相關業務和SG-MDS統計匯總業務對相關數據進行同步和匯總。MDS系統在各省級供電單位獨立運行，其產生的業務數據種類繁多、體量龐大，存在分散性、復雜性和不一致性等缺點。總部對各省級供電單位相關計量生產數據的監管要求需考慮數據收集和統計的實時性及多樣性。

收集數據會對源端數據庫產生較大影響，如果直接在生產數據庫中收集數據，會對現場造成不可預估的影響。

如果省級供電單位均將數據同步至SG‐MDS數據庫后，再進行統一的統計分析，SG‐MDS數據庫則會產生較大負荷，進而影響基礎業務數據統計分析的及時性和SG‐MDS系統功能的可用性和穩定性。

發明內容

為了克服現有技術的上述缺陷，本發明提出了一種多級數據轉化任務的自動調度方法，包括步驟：

1)初始化任務池；2)設置任務調度規則；3)設置任務調度機制；4)按照數據級別調度任務；5)執行數據任務；6)對數據庫服務器的數據同步。

所述步驟1)中：編制所述任務池的任務；任務調度服務器初始化所述任務池中的任務數據。

所述步驟2)中：所述任務調度服務器按照數據級別設置所述任務調度規則；所述任務調度規則包括：劃分數據級別、劃分單位級別和劃分業務優先級。

所述步驟3)中：所述任務調度服務器按照數據級別設置所述任務調度機制；所述任務調度機制包括：任務執行周期、任務執行的開始時間和并行執行的任務數量。

所述步驟4)中：所述任務調度服務器按照數據級別調度任務，并按照所述任務調度規則和所述任務調度機制獲取任務。

所述步驟5)中：所述任務調度服務器調入所述任務數據到所述源端數據庫服務器和目標端數據庫服務器。

所述步驟6)中：所述任務調度服務器實時監控任務執行進度；利用ETL工具實現所述源端數據庫服務器和目標端數據庫服務器中數據的同步和匯總。

若當前數據級別仍有未執行的任務時，重復步驟5)至6)；若當前數據級別任務全部執行完成，仍存在下一數據級別，重復步驟4)至6)。

與現有技術比，本發明的有益效果為：

1、本發明將數據ETL的壓力分散到各中間階段的數據服務器上，使SG‐MDS數據庫服務器能充分支撐系統相關功能的運行指標，同時提高數據ETL的效率，實現總部及時控制各省級供電單位生產情況；

2、本發明根據基礎業務數據量的大小，使每個階段都可對基礎業務數據進行輕度匯總后再同步，最大限度壓縮數據收集、處理及分析的耗時，提升數據統計匯總效率；

3、本發明根據統計分析業務統一編制數據ETL任務，實現了電力計量數據的維度清晰、關聯明確和質量的集中化、統一化及簡約化。

4、本發明采用任務統一、集中調度機制，實現數據轉化任務的自動化調度，對擴展數據統計分析業務提供了便利的條件，保證總部對省級供電單位業務的把控和監督。

附圖說明

圖1為本發明的系統結構框圖；