[發明專利]分布式系統的作業調度系統及方法

有效

• 申請號: 201710431437.4
• 申請日: 2017-06-09
• 公開（公告）號: CN107239335B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 王備;蔡良良;俞斌;江軍華
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/27
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王天堯;賈磊

本發明提供了一種分布式系統的作業調度系統及方法，其中，該系統包括：作業提取裝置，用于提取分布式文件系統中的多個待調度作業；血緣分析裝置，用于對多個待調度作業進行分析，得到多個待調度作業之間的血緣關系；全作業路徑構建裝置，用于根據血緣關系，構建多個待調度作業之間的所有作業執行路徑；關鍵路徑識別裝置，用于在所有作業執行路徑中識別出關鍵作業執行路徑；作業分組裝置，用于對所有作業執行路徑進行拆分分組，得到分組后的作業執行路徑；作業執行裝置，用于根據關鍵作業執行路徑和分組后的作業執行路徑，執行待調度作業。上述技術方案實現了對海量作業調度順序的自動配置，資源的合理分配，數據可溯源，提高了作業調度效率。

技術領域

本發明涉及作業調度技術領域，特別涉及一種分布式系統的作業調度系統及方法。

背景技術

近年來，隨著信息技術和互聯網的發展，全球的數據總量已經達5000億GB，增長速度甚至高過NASA火箭速度，人們迅速從信息匱乏的時代走入了信息過載的時代。在這個時代主要挑戰是：如何從大量信息中提取感興趣的信息，然后應用于分析、決策等方面。從數據的采集、抽取、轉換、加載、數據集市生成，再到決策的數據魔方的形成，涉及成千上萬的處理程序，而處理程序之間的關系又是千絲萬縷、錯綜復雜，把其形容成一張作業的蜘蛛網也不為過。如何有效地實施作業調度管理，提高系統數據分析效率和整體資源利用率，是大數據分析中重中之重。然而，作業調度管理常常存在以下問題：

1.需要人工梳理和分析作業間的關聯關系，然后配置相關作業的調度順序。

2.功能單一，僅實現最簡單的作業調度功能，未能對調度作業進行合理分析，合理配置作業執行路徑。

3.缺乏對于歷史作業運行經驗的自學習自反饋能力，無法按歷史運行經驗關鍵作業進行并發度和資源的傾斜。

4.數據源長途跋涉，經過大量的處理和組件傳遞后呈現在業務用戶面前，對數據進行回溯其實很難。而源數據回溯在有效決策、策略制定、差異分析等過程中很重要。

發明內容

本發明實施例提供了一種分布式系統的作業調度系統，用以自動配置作業執行路徑，實現資源的合理分配，可溯源，提高作業調度時效，該系統包括：

作業提取裝置，用于提取分布式文件系統中的多個待調度作業；

血緣分析裝置，用于對多個待調度作業進行分析，得到多個待調度作業之間的血緣關系；所述血緣關系為多個待調度作業之間的從數據源到目標數據的流向關系；；

全作業路徑構建裝置，用于根據所述血緣關系，構建多個待調度作業之間的所有作業執行路徑；

關鍵路徑識別裝置，用于根據待調度作業的歷史運行時間，在所有作業執行路徑中識別出關鍵作業執行路徑；關鍵作業執行路徑為執行待調度作業時歷史運行時間大于預設運行時間的路徑；

作業分組裝置，用于對所有作業執行路徑進行拆分分組，得到分組后的作業執行路徑；

作業執行裝置，用于根據所述關鍵作業執行路徑和分組后的作業執行路徑，對待調度作業進行調度執行。

本發明實施例還提供了一種分布式系統的作業調度方法，用以自動配置作業的執行路徑，實現資源的合理分配，可溯源，提高作業調度時效，該方法包括：

提取分布式文件系統中的多個待調度作業；

對多個待調度作業進行分析，得到多個待調度作業之間的血緣關系；所述血緣關系為多個待調度作業之間的從數據源到目標數據的流向關系；；

根據所述血緣關系，構建多個待調度作業之間的所有作業執行路徑；

根據待調度作業的歷史運行時間，在所有作業執行路徑中識別出關鍵作業執行路徑；關鍵作業執行路徑為執行待調度作業時歷史運行時間大于預設運行時間的路徑；