[發明專利]一種基于血緣的任務調度優化方法、系統、設備及介質

在審

• 申請號: 202211489674.3
• 申請日: 2022-11-25
• 公開（公告）號: CN115827226A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 毛晶;陳衛
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 宋海霞

本發明公開了一種基于血緣的任務調度優化方法、系統、設備及介質，涉及任務調度優化技術領域，該方法包括：步驟A：將分布式任務調度平臺中需要自動配置工作流的任務進行血緣解析，得到任務數據血緣；步驟B：將步驟A中得到的任務數據血緣，通過血緣關系構建任務依賴圖DAG；步驟C：基于步驟B中構建的任務依賴圖DAG，進行任務調度執行。該系統包括：血緣解析單元、任務依賴圖構建單元和任務調度執行單元。本發明通過血緣解析減少了人工配置任務依賴工作量和錯誤率，通過自動生成的有向無環圖DAG也提高了包含的任務數大小。

技術領域

本發明涉及任務調度優化技術領域，具體涉及一種基于血緣的任務調度優化方法、系統、設備及介質。

背景技術

分布式任務調度平臺(Apache DolphinScheduler)是一個分布式去中心化，易擴展的可視化有向無環圖DAG工作流任務調度平臺。分布式任務調度平臺(ApacheDolphinScheduler)旨在解決復雜的大數據任務依賴關系，并為應用程序提供數據和各種操作OPS編排中的關系；解決數據研發抽取轉換加載ETL依賴錯綜復雜，無法監控任務健康狀態的問題。DolphinScheduler以有向無環圖DAG(Directed Acyclic Graph)流式方式組裝任務，可以及時監控任務的執行狀態，支持重試、指定節點恢復失敗、暫停、恢復、終止任務等操作。其包含告警服務AlertServer進程提供告警服務，用戶交互服務ApiServer進程提供Web服務用于用戶編輯任務工作流等，主節點MasterServer進程負責調度工作流，工作節點WorkerServer進程負責實際執行任務，他們之間通過netty通信。

DolphinScheduler本身的DAG API即是有用戶交互服務ApiServer提供的Web服務。但在大型企業中，特別是現在數據作為資產的時代，數據任務越來越多。如果直接ApiServer提供的DAG API進行工作流的創建，任務數達到幾十時手動編輯就很困難，因為任務依賴關系需要人工檢查手動設置。如果將工作流當作節點配置又極大的增加了工作流復雜度，特別是給跨部門合作開發帶來了極大的不便。因此，本發明考慮一種自動生成任務依賴構建有向無環圖DAG的方法以解決以上這些問題。

發明內容

本發明所要解決的技術問題是現有任務調度方法中有向無環圖DAG人工構建復雜協作困難，構建效率低，人工配置錯誤高的問題。本發明目的在于提供一種基于血緣的任務調度優化方法、系統、設備及介質，通過血緣解析減少了人工配置任務依賴工作量和錯誤率，通過自動生成的有向無環圖DAG也提高了包含的任務數大小。

本發明通過下述技術方案實現：

第一方面，本發明提供了一種基于血緣的任務調度優化方法，該方法包括以下步驟：

步驟A：將分布式任務調度平臺中需要自動配置工作流的任務進行血緣解析，得到任務數據血緣；

步驟B：將步驟A中得到的任務數據血緣，通過血緣關系構建任務依賴圖DAG；

步驟C：基于步驟B中構建的任務依賴圖DAG，進行任務調度執行，從而實現了工作流自動配置，降低了在大批量任務情況下人工配置工作流的工作量和人為錯誤率。

本發明應用于分布式任務調度平臺Apache DolphinScheduler，本發明提高了有向無環圖DAG構建效率，減少人工配置錯誤，同時增加了有向無環圖DAG的節點任務數大小。

進一步地，步驟A的具體步驟為：

步驟A1：當分布式任務調度平臺中共有n個任務，其中假設task0～taskm為需要自動配置為虛擬工作流的任務；