[發明專利]分布式系統的作業調度系統及方法

有效

• 申請號: 201710431437.4
• 申請日: 2017-06-09
• 公開（公告）號: CN107239335B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 王備;蔡良良;俞斌;江軍華
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/27
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王天堯;賈磊

1.一種分布式系統的作業調度系統，其特征在于，包括：

作業提取裝置，用于提取分布式文件系統中的多個待調度作業；

血緣分析裝置，用于使用Hadoop集群的spark計算引擎，對多個待調度作業進行分析，得到多個待調度作業之間的血緣關系；所述血緣關系為多個待調度作業之間的從數據源到目標數據的流向關系；

全作業路徑構建裝置，用于根據所述血緣關系，構建多個待調度作業之間的所有作業執行路徑；

關鍵路徑識別裝置，用于根據待調度作業的歷史運行時間，在所有作業執行路徑中識別出關鍵作業執行路徑；所述關鍵作業執行路徑為執行待調度作業時歷史運行時間大于預設運行時間的路徑；

作業分組裝置，用于對所有作業執行路徑進行拆分分組，得到分組后的作業執行路徑；

作業執行裝置，用于根據所述關鍵作業執行路徑和分組后的作業執行路徑，對待調度作業進行調度執行；

所述全作業路徑構建裝置具體用于：根據所述血緣關系，構建所有待調度作業的AOE圖；根據所述血緣關系，構建所有待調度作業的AOE圖，包括：

虛擬出第一點和第二點構建一個最初的AOE圖，第一點是入度為零的點，所述第一點作為整個待調度作業的開始源點，第二點是出度為零的點，作為整個待調度作業的結束點；

從血緣分析裝置中獲取第一層待調度作業，將獲取的每個待調度作業都作為一個頂點加入到AOE圖中，從整個待調度作業的開始源點到每個所述頂點畫一條有向弧，弧的權重為零；所述第一層待調度作業為沒有前序作業的作業；

依次遍歷AOE圖中除了調度結束點之外每一個還沒出度的頂點，從血緣分析裝置中獲取所述還沒出度的頂點的后續作業，當所述后續作業在AOE圖中不存在時，在AOE圖中新增一個頂點作為所述后續作業的頂點，新增一條還沒出度的頂點到后續作業的頂點的有向弧，將每個還沒出度的頂點對應待調度作業的預估作業運行時間或歷史實際運行時間作為該有向弧的權重；

如果從血緣分析裝置獲取不到當前作業的后續作業，將整個待調度作業的調度結束點作為當前作業的目標點，當前作業到調度結束點的有向弧的權重為當前作業的預估作業運行時間或歷史實際運行時間；

作業分組裝置，具體用于利用spark的機器學習算法進行作業聚類和圖論的機器學習進行分析并分組，利用spark的機器學習算法進行作業聚類和圖論的機器學習進行分析并分組包括：使用聚類從作業依賴和緊密度方面識別出作業之間的關系度，將關系度高的劃分一個初始作業組；利用圖論按作業的入度和出度進行分類，識別出AOE有向圖中橫向沒有交會的路徑，獲取出交匯路徑的信息；針對于交匯路徑在不同全路徑上血緣關系進行分析,判斷該全路徑是否使用到交匯路徑所含有的全部血緣信息,如果是，該交匯路徑不能拆分,否則按不同的血緣內容進行交匯路徑的水平拆分。

2.如權利要求1所述的分布式系統的作業調度系統，其特征在于，還包括：作業控制策略庫，用于存儲所述關鍵作業執行路徑和分組后的作業執行路徑；所述關鍵作業執行路徑和分組后的作業執行路徑供所述作業執行裝置調用。

3.如權利要求1所述的分布式系統的作業調度系統，其特征在于，所述血緣分析裝置具體用于：

識別每個待調度作業業務邏輯的數據源信息和目標數據信息，將數據源信息中的源表和源字段與目標數據信息中的目標表和目標字段關聯，形成每個待調度作業信息項的源信息到目標信息的血緣關系；

將每個待調度作業源信息到目標信息的血緣關系進行整合，形成整個調度系統的整體全面的血緣關系。

4.如權利要求1所述的分布式系統的作業調度系統，其特征在于，所述關鍵路徑識別裝置具體用于：

確定AOE圖中每個頂點對應待調度作業的最早發生時間和最晚發生時間；

根據每個頂點對應待調度作業的最早發生時間和最晚發生時間，確定AOE圖中作業執行路徑的重復程度；

根據所述AOE圖中作業執行路徑的重復程度，確定關鍵作業執行路徑。