[發明專利]基于有向無環圖的分布式任務調度方法、裝置及存儲介質

在審

• 申請號: 202011487630.8
• 申請日: 2020-12-16
• 公開（公告）號: CN112506636A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 范強;張翔南;凌瀛洲;馮超;王家卓
• 申請（專利權）人: 北京中天孔明科技股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/182
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 楊友枚

本發明提供了一種基于有向無環圖的分布式任務調度方法、裝置及存儲介質，該方法包括構建有向無環圖，有向無環圖中包括多個處理流程，處理流程包括第一處理流程和第二處理流程，第二處理流程包括多個子流程；依次順序執行多個處理流程，執行第二處理流程為：并行執行多個子流程；將執行完第一處理流程得到的運算結果和執行完每個子流程得到的運算結果儲存至分布式文件系統中；其中，初始處理流程的輸入數據為預設數據，上一處理流程的運算結果為下一處理流程的輸入數據。通過將有向無環圖中的每個處理流程拆分為獨立的任務，同時緩存每個任務的運算結果，在參數試錯時無需重復執行之前已運算過的流程。

技術領域

本發明涉及任務調度技術領域，特別涉及一種基于有向無環圖的分布式任務調度方法、裝置及存儲介質。

背景技術

現有技術中的數據處理流程為：

圖1是現有技術中一實施例的數據處理過程示意圖，其中，原始數據依次進入處理流程1、處理流程2進行處理后，將進入處理流程3、處理流程4，最終得到所需的結果。而一個處理流程，分別輸入不同的參數進行處理后將輸出不同的運算結果，針對一個處理流程、不同參數的情況，目前大部分的方案是將一個處理流程拆分成兩個獨立的流程后，再重新進行執行。例如圖2所示，圖2是現有技術中另一實施例的數據處理過程示意圖，該實施例中，處理流程3包括兩種運算方法：“處理流程3-1”和“處理流程3-2”，處理流程4也包括兩種運算方法：“處理流程4-1”和“處理流程4-2”。處理流程3-1和處理流程3-2的處理過程是一樣的，處理流程4-1和處理流程4-2的處理過程也是一樣的，只是在兩個流程進行處理時輸入的參數不一樣。

因此圖2中的數據處理流程從一開始就被拆分成了兩條路線，這樣一來兩個流程不僅都執行了“處理流程1”和“處理流程2”，如果計算資源(運算服務器數量)比較緊張，那么只能等其中一個運算完成后，再運行第二個。而且如果某一個中間處理流程出現了問題，那么在解決完該中間處理流程的問題后，就需要將整個處理過程再重新執行一遍。例如：“處理流程2”出現問題，在解決完處理流程2的問題后，需要重新從“處理流程1”再次開始執行，進而再執行“處理流程2”，浪費時間和計算資源。

而數據清洗和機器學習算法都需要配置大量的參數，執行每個處理流程時都需要不斷調整參數，如果某一個處理流程的參數需要修改，則需要重新運行整個過程。同樣會浪費時間和計算資源。

因此，大數據時代隨著數據量越來越大，如何高效利用計算資源，降低試錯成本(主要是指參數錯誤或者參數調整的時間成本)，是當前亟需解決的問題。

發明內容

(一)發明目的

本發明的目的是提供一種基于有向無環圖的分布式任務調度方法、裝置及存儲介質，通過將有向無環圖中的每個處理流程拆分為獨立的任務，同時緩存每個任務的運算結果，在參數試錯時無需重復執行之前已運算過的流程。

(二)技術方案

為解決上述問題，根據本發明的一個方面,本發明提供了一種基于有向無環圖的分布式任務調度方法，包括：構建有向無環圖，有向無環圖中包括多個處理流程，所述處理流程包括第一處理流程和第二處理流程，第二處理流程包括多個獨立的子流程；依次順序執行多個處理流程，執行所述第二處理流程為：并行執行第二處理流程包括的多個子流程；將執行完第一處理流程得到的運算結果和執行完每個子流程得到的運算結果儲存至分布式文件系統中；其中，初始所述處理流程的輸入數據為預設數據，上一處理流程的運算結果為下一處理流程的輸入數據。

進一步的，還包括：從所述儲存至分布式文件系統中提取所述第一處理流程的運算結果，將所述運算結果輸入下一所述處理流程。

進一步的，還包括：從所述儲存至分布式文件系統中提取所述第二處理流程中的多個所述子流程的運算結果，對比多個所述子流程的所述運算結果，并得到最優運算結果，將所述最優運算結果輸入下一所述處理流程。