[發明專利]一種基于包管理的分布式數據作業調度的方法和系統

有效

• 申請號: 201910368543.1
• 申請日: 2019-05-05
• 公開（公告）號: CN110069334B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 呂云恒
• 申請（專利權）人: 重慶天蓬網絡有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 梁愛榮

本發明提供了一種基于包管理的分布式數據作業調度的方法和系統，屬于計算機軟件領域，用于管理分布式數據作業調度，其包括通過對作業梳理拆分以更細粒度方式呈現，以及引入產品項目概念以項目維度對作業進行任務創建和分類管理，任何作業均需自定義作業KEY，通過引入KEY方式支持跨項目依賴，且同一項目內不同工作流作業也支持KEY依賴注入，以解決項目作業隔離問題和權責分明，各業務產品線可以按需分配作業，各自運維自己所屬項目的工作流作業，互不影響。本發明可提升作業任務開發和運維操作的用戶體驗，支持作業任務更細粒度拆分，歸屬明確。

技術領域

本發明涉及計算機軟件技術領域，具體而言，涉及一種基于包管理的分布式數據作業調度的方法和系統。

背景技術

分布計算環境是基于分布式系統上進行的計算服務系統，分布式任務調度問題就是尋找將一組相互協作的任務分配到一組處理器上運行的最優解。由于傳統調度系統的單一策略模式，使得調度決策在某些條件下是有效的，而在更多的情況下卻不能令人滿意。

在一個大型的分布式系統中，一方面，由于系統狀態的不確定性；狀態知識的不完整性；調度策略的不穩定性和系統缺乏自我調節能力，現有的許多分布式任務調度算法將失去其有效性而變得低效。

目前很多企業普遍存在大數據場景下批量工作流任務處理需求，迫切需要與之對應的工作流調度處理平臺，市場上很少有商用產品能很好地滿足此類數據需求，雖開源工作流調度框架azkaban功能強大，但真正面對實際業務場景時仍然存在很多需要改進的地方，比如不支持跨項目依賴、任務嵌套工作流過于繁瑣、復雜業務難以適配、任務粒度太大、任務調度配置不友好、任務運維不方便等。

另一方面，隨著移動互聯網技術的發展，工作站、小型機等計算平臺的普及和網絡技術的成熟，組成系統的這些結點己不完全相同，而具有多種形式的異構性，例如，系統配置異構、體系結構異構和操作系統異構.如何將任務在這些異構的結點間快速而有效地分派和轉移是目前分布式計算研究所面臨的一個重大而復雜的問題。系統的異構性極大地增加了調度工作的復雜性，而現有的許多分布式任務調度都缺乏對異構型分布式計算環境的有力支持。

因此，在長期的研發當中，發明人對基于包管理的分布式數據作業調度的方法和系統進行了大量的研究，提出了一種對大數據場景下批量工作流任務的處理需求的方法，以解決上述技術問題之一。

發明內容

本發明的目的在于提供一種基于包管理的分布式數據作業調度的方法和系統，能夠解決上述提到的至少一個技術問題。具體方案如下：

一種基于包管理的分布式數據作業調度的方法，包括：

步驟S1、系統創建本地工作流任務，在創建的所述本地工作流任務中，通過拖拽操作來創建DAG流程圖；

步驟S2、根據創建的所述DAG流程圖設置調度規則，并提交設置的所述調度規則以進行任務審核；

步驟S3、所述系統后臺的守護程序不斷輪詢監聽線上周期任務，并定時生成次日全量工作流任務實例，以及所述工作流任務實例所依賴的關系數據，向執行引擎發送所述工作流任務實例的執行請求；

步驟S4、所述執行引擎接收所述工作流任務實例的執行請求，并排隊異步處理，通過解析工作流各子節點任務類型、參數變量數據，并觸發相應作業插件，執行任務節點代碼邏輯；

系統通過接口獲取所述異步處理執行工作流詳細日志；所述系統后臺的守護程序通過接口查詢所述工作流任務實例的執行狀態去刷新本地的所述工作流任務實例以及所述依賴的關系數據的執行狀態。

進一步的，所述步驟S1中用戶創建本地工作流任務，所述DAG流程圖中的流程子節點包括shell節點、Hive SQL節點、數據導出節點、MySQL節點、KEY節點中的一個或多個；

所述步驟S2中，進行任務審核具體包括：