[發(fā)明專利]一種支持作業(yè)依賴關系的定時作業(yè)調度方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711436091.3
• 申請日: 2017-12-26
• 公開（公告）號: CN108037991A
• 公開（公告）日: 2018-05-15
• 發(fā)明（設計）人: 余陽;何勇標
• 申請（專利權）人: 中山大學
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發(fā)明涉及一種支持作業(yè)依賴關系的定時作業(yè)調度方法，包括以下步驟：S1.調度器從存儲單元中加載作業(yè)相關數據，包括作業(yè)信息列表和作業(yè)依賴關系；S2.調度器根據作業(yè)依賴關系將作業(yè)信息列表轉化為作業(yè)有向無環(huán)圖；S3.調度器將作業(yè)有向無環(huán)圖作為副本生成任務有向無環(huán)圖；S4.調度器對任務有向無環(huán)圖中節(jié)點入度為非0的任務進行依賴調度；S5.調度器根據任務觸發(fā)時間對任務有向無環(huán)圖中節(jié)點入度為0的任務進行定時調度；S6.執(zhí)行單元執(zhí)行上述任務后，向調度器反饋相關的執(zhí)行結果。

技術領域

本發(fā)明涉及計算機技術領域，更具體地，涉及一種支持作業(yè)依賴關系的定時作業(yè)調度方法及系統(tǒng)。

背景技術

近年來，隨著互聯(lián)網、大數據存儲、分布式計算的快速發(fā)展，計算規(guī)模的日益擴大成了很多互聯(lián)網行業(yè)的嚴峻挑戰(zhàn)和寶貴機遇，大數據的涌現更是深深改變了人們的生活和工作方式。利用合理高效的計算模式，擺脫網絡中各種計算資源在地域和結構的限制，充分利用計算資源，是互聯(lián)網企業(yè)實際而又迫切的需求。于是，調度器的設計和開發(fā)成為國內外大型互聯(lián)網公司研究實踐的熱點技術。

現有的離線計算技術主要解決的是定時調度、分布式調度等問題。在實際應用場景中，作業(yè)之間往往存在依賴關系，即一個作業(yè)的輸入需要依賴其他作業(yè)的輸出，同時作業(yè)也需要在指定時間指定機器運行。

因此，需要一種高效、可靠的調度方法，同時實現作業(yè)依賴關系調度和作業(yè)定時調度。

發(fā)明內容

本發(fā)明提出了一種能夠支持作業(yè)依賴關系的定時作業(yè)調度方法，解決了作業(yè)之間存在依賴關系的問題，也解決了作業(yè)在指定時間進行調度執(zhí)行的問題。該方法可靠性好、效率高、系統(tǒng)實現簡單。

為實現以上發(fā)明目的，采用的技術方案是：

一種支持作業(yè)依賴關系的定時作業(yè)調度方法，包括以下步驟：

S1.調度器從存儲單元中加載作業(yè)相關數據，包括作業(yè)信息列表和作業(yè)依賴關系；

S2.調度器根據作業(yè)依賴關系將作業(yè)信息列表轉化為作業(yè)有向無環(huán)圖；

S3.調度器將作業(yè)有向無環(huán)圖作為副本生成任務有向無環(huán)圖；

S4.調度器對任務有向無環(huán)圖中節(jié)點入度為非0的任務進行依賴調度；

S5.調度器根據任務觸發(fā)時間對任務有向無環(huán)圖中節(jié)點入度為0的任務進行定時調度；

S6.執(zhí)行單元執(zhí)行上述任務后，向調度器反饋相關的執(zhí)行結果。

優(yōu)選地，所述步驟S2轉化為作業(yè)有向無環(huán)圖的具體過程如下：

S11.根據作業(yè)依賴關系，將作業(yè)列表轉化為作業(yè)圖結構，其中作業(yè)圖結構中的每個節(jié)點代表了對應的作業(yè)信息；

S12.判斷作業(yè)圖結構是否存在環(huán)，如果存在，則繼續(xù)執(zhí)行步驟S13，否則轉移到步驟S14；

S13：獲取作業(yè)圖結構中環(huán)所在的子連通圖，移除該子連通圖，使作業(yè)圖結構是合法的，同時報警提示作業(yè)依賴關系異常；

S14：獲取合法的作業(yè)有向無環(huán)圖。

優(yōu)選地，所述步驟S11將作業(yè)列表轉化為作業(yè)圖結構的具體過程如下：

S111.構建空的哈希映射數據結構，其中映射的鍵表示一個作業(yè)，映射的值表示依賴作業(yè)的集合；

S112.遍歷所有的作業(yè)，將其添加到哈希映射數據結構中；

S113.遍歷所有的作業(yè)依賴關系，對任一依賴關系(x:y)，表示作業(yè)y在作業(yè)x之后調度，將作業(yè)y添加到作業(yè)x對應的依賴作業(yè)集合中，此時哈希映射數據結構表示為作業(yè)圖結構。