[發明專利]基于Airflow的數據計算調度方法

在審

• 申請號: 201911005641.5
• 申請日: 2019-10-22
• 公開（公告）號: CN110764747A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 錢斌;肖勇;鄭楷洪;蔡梓文;周密
• 申請（專利權）人: 南方電網科學研究院有限責任公司;中國南方電網有限責任公司電網技術研究中心
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F16/27
• 代理公司: 31253 上海精晟知識產權代理有限公司
• 代理人: 安曼

本發明公開了基于Airflow的數據計算調度方法，屬于Airflow技術領域，包括以下步驟：步驟一：開始任務，生成樹，任務實例并導出原始數據；步驟二：生成樹，任務實例接著進行scheduler安排定時服務同時，Dag生成定義任務和依賴與scheduler掃描定時服務同時輸入至所有任務存儲在數據庫中判斷是否滿足定時條件，當滿足定時條件時解析模型；步驟三：當導出原始數據成功時向下進行數據計算1同時將數據存儲到HDFS且HDFS獲取數據。本發明具有強大的依賴關系設計和強大的拓展性并且允許觸發任意的腳本，基礎模塊也被設計的非常容易拓展。

技術領域

本發明涉及一種計算調度方法，特別是涉及一種基于Airflow的數據計算調度方法，屬于Airflow技術領域。

背景技術

Airflow是一個Airbnb的Workflow開源項目，Airflow即有向無環圖DAGS，數據調度在電力系統中應用廣泛，但是數據計算是一個復雜的過程，傳統的數據調度方法無法進行擴展，并且沒有自己的調度任務web監控服務，需要依賴其他程序才能進行，同時調度程序只能做到單一的對應。

發明內容

本發明的主要目的是為了解決現有技術的不足而提供基于Airflow的數據計算調度方法。

本發明的目的可以通過采用如下技術方案達到：

基于Airflow的數據計算調度方法，包括以下步驟：

步驟一：開始任務，生成樹，任務實例并導出原始數據；

步驟二：生成樹，任務實例接著進行scheduler安排定時服務同時，Dag生成定義任務和依賴與scheduler掃描定時服務同時輸入至所有任務存儲在數據庫中判斷是否滿足定時條件，當滿足定時條件時解析模型；

步驟三：當導出原始數據成功時向下進行數據計算1同時將數據存儲到HDFS且HDFS獲取數據，當導出原始數據失敗時定時任務失敗同時任務日志記錄到源數據庫中；

步驟四：當數據計算1成功時既向下進行數據計算2、數據計算3、數據計算4和數據計算5，又將數據計算1的計算結果保存到HDFS，及mpp；

步驟五：HDFS獲取結果數據與數據計算2、數據計算3、數據計算4和數據計算5同時并行任務，同時將存儲過程入庫并數據存儲至HDFS及Mpp。

優選的，完整架構包含以下組件：

(1)作業定義，包含在源代碼控制中；

(2)一個豐富的命令行工具或者命令行接口用來測試、運行、回填、描述和清理你的Airflow的組成部件；

(3)一個web應用程序，用來瀏覽Airflow的定義、依賴項、進度、元數據和日志，Web服務器打包在Airflow里面并且是基于Python框架Flask構建；

(4)一個元數據倉庫，通常是一個MySQL或者Postgres數據庫，Airflow可以用它來記錄任務作業狀態和其他持久化的信息；

(5)一組工作節點，以分布式的方式運行作業的任務實例；

(6)調度程序，觸發準備運行的任務實例；

(7)RBAC權限管理，高強度的對用戶權限進行了劃分，可以細致到頁面上的每個頁面、每個按鈕和每個任務。

優選的，Airflow推動處理的工序：

(1)數據倉庫；

(2)增長分析；

(3)試驗；

(4)定向郵件；

(5)會話；