[發明專利]一種任務調度方法及裝置

在審

• 申請號: 201310681601.9
• 申請日: 2013-12-12
• 公開（公告）號: CN104714838A
• 公開（公告）日: 2015-06-17
• 發明（設計）人: 簡勤;劉耕;朱泓;賴航;曾東;張聰;李明;夏峻峰;李小東;李先富
• 申請（專利權）人: 中國移動通信集團四川有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京中譽威圣知識產權代理有限公司 11279
• 代理人: 郭振興;彭曉玲

技術領域

本發明涉及數據處理技術領域，尤其涉及一種任務調度方法及裝置。

背景技術

隨著信息技術的不斷發展，信息量呈爆炸式增長，如何快速地從海量數據中挖掘出有價值的信息變得日益重要，大數據系統正是這樣一個數據處理和服務平臺，作為提供數據計算服務的平臺，通常承擔了成百上千甚至更多的任務，數據處理過程通常涉及到復雜的流程，一次完整的數據處理任務通常包括多個子任務，如何有效管理和控制好這些任務，讓它們協調地工作，是影響到大數據系統能否實現其價值的重要性因素之一。

大數據系統的主要特點包括：

（1）數據量巨大：系統通常擁有若干TB甚至上PB的數據量；

（2）任務數量龐大：作為數據服務平臺，隨時接收用戶提交的處理任務；

（3）任務通常以數據處理為中心：任務的主要職責是對數據進行清洗、轉化、分析、挖掘等，各個任務之間構成一個數據處理流；

（4）任務之間的關系通常通過數據來建立。

目前，任務調度方式普遍采用控制流的原理，即根據任務狀態來控制任務的執行流程，所謂任務狀態，是指任務的運行結果情況，即成功或者失敗。任務調度通常按照這樣的邏輯來進行：假如任務執行計劃中包括A、B、C三個任務，三者的依賴關系為：C＞B＞A，即Ｃ能否啟動取決于B的運行狀態是否成功，B能否啟動，取決于A的運行狀態是否成功。

現有技術中，普遍采用的是基于控制流和任務狀態的任務調度方式，該方式在任務數較少的時候，很容易實現，但是當任務量非常龐大的時候，尤其是任務之間的依賴關系非常復雜的時候，對任務關系的維護將是個很大的挑戰。另一方面，假如在A、B、C構成的任務鏈中，如果A任務產生多個輸出結果，B將使用到其中某一部分輸出結果，這些輸出結果之間存在一定的時間間隔，設任務A在時刻t1輸出B所依賴的資源，在t2時刻A任務完成，那么在這種調度機制下，任務B最早啟動時間為t2——即任務A全部完成，對于B來說，其所依賴的資源在t1時刻就存在，則（t2-t1）為任務B的空閑等待時間。

綜上所述，現有方案的缺點主要體現在以下幾個方面：

1、調度系統必須對任務之間的關系進行維護，這增加了調度系統的實現難度和運行成本；

2、任務之間存在空閑等待時間，會造成資源上的浪費和任務的延遲現象。

發明內容

為了解決在大數據系統中任務調度復雜且存在延遲的技術問題，本發明提出一種任務調度方法及裝置。

本發明的一個方面，提供一種任務調度方法，包括：

從第一任務的任務配置文件中解析得到任務配置項；

根據所述任務配置項查詢所述第一任務完成的依賴條件；

根據所述第一任務完成的依賴條件調度所述第一任務。

本發明的另一個方面，提供一種任務調度裝置，包括：

解析模塊，用于從第一任務的任務配置文件中解析得到任務配置項；

查詢模塊，用于根據所述任務配置項查詢所述第一任務完成的依賴條件；

調度模塊，用于根據所述第一任務完成的依賴條件調度所述第一任務。本發明的任務調度方法及裝置，通過對任務執行的依賴條件進行判斷，來對任務進行執行調度，無需維護任務之間的關系，降低了系統的復雜度，提升系統效率；使得大規模任務群的調度管理得以實現；最大程度減少任務空閑等待時間，提高系統的效率。

附圖說明

圖1是本發明任務調度方法實施例的流程圖；

圖2是本發明任務調度方法另一實施例的流程圖；

圖3是本發明任務調度方法再一實施例的流程圖；

圖4是本發明任務調度裝置實施例的結構圖。

具體實施方式

本發明采用基于數據狀態來進行任務調度的思路。數據狀態，即數據的存在狀態（是否就緒），將任務視為數據處理單元，只關注任務所依賴的數據和輸出的數據，不關注任務的狀態以及任務之間的關系。是否啟動一個任務的唯一判斷依據就是該任務所依賴的數據是否就緒。以下結合附圖對本發明進行詳細說明。

如圖1所示，本發明提供一種任務調度方法實施例，包括以下步驟：

步驟101，從第一任務的任務配置文件中解析得到任務配置項；

步驟102，根據任務配置項查詢第一任務完成的依賴條件；

步驟103，根據第一任務完成的依賴條件調度第一任務。