[發明專利]一種數據倉庫的任務調度方法及裝置在審

申請號：	201210289275.2	申請日：	2012-08-15
公開（公告）號：	CN103593232A	公開（公告）日：	2014-02-19
發明（設計）人：	高繼軍	申請（專利權）人：	阿里巴巴集團控股有限公司
主分類號：	G06F9/46	分類號：	G06F9/46;G06F17/30
代理公司：	杭州天勤知識產權代理有限公司 33224	代理人：	楊天嬌
地址：	英屬開曼群島大開***	國省代碼：	開曼群島;KY
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種數據倉庫任務調度方法裝置
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

技術領域

本申請涉及數據庫技術領域，尤其涉及數據倉庫的任務調度方法及裝置。

背景技術

隨著90年代后期Internet的興起與飛速發展，我們進入了一個新的時代，大量的信息和數據，迎面而來，用科學的方法去整理數據，從而從不同視角對企業經營各方面信息的精確分析、準確判斷，比以往更為迫切。數據倉庫(Data?Warehouse)的概念應運而生，數據倉庫是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合。隨著企業信息化程度的不斷提高，企業內部積累了大量的業務數據，數據倉庫用于對這些相互獨立、分散的數據進行統一的處理，以滿足企業高層決策與分析需要。隨著數據倉庫系統帶來的良好效果，各行各業的單位，已經能很好的接受“整合數據，從數據中找知識，運用數據知識、用數據說話”等新的關系到改良生產活動各環節、提高生產效率、發展生產力的理念。

任務在數據倉庫的概念中就是最小處理數據動作的一種技術實現，在一個數據倉庫中，數據的處理都是由成千上萬的各種處理任務完成。在當前流行的數據倉庫平臺中，任務調度一般都實現了根據任務依賴關系，進行任務并發調度，并可以設置任務運行的并發度及任務的優先級，優先級越高，任務會優先觸發執行。但在一些實際使用場景中，仍然存在種種問題，例如：由于數據平臺運算資源不夠，發生整個平臺宕掉；任務的觸發時間和完成時間沒有達到業務方的需求等等。

特別地，在傳統的任務調度方法中，首先進行觸發時間判斷，觸發時間判斷為判斷讀取到的可用任務是否滿足時間觸發條件，只有當讀取到可用任務時的時間大于設置的觸發時間，才繼續往下判斷，否則終止判斷，退出，并進行下一個等待任務的觸發判斷；然后進行并發數判斷，每類任務類型都設有可運行的最大并發數，當讀取到的任務相應的任務類型正在運行的并發數小于等于設置的最大并發數時，那么觸發執行該任務，否則終止，退出，并進行下一個等待任務的觸發判斷。

可見在傳統的任務調度方法中可以設置任務的觸發時間和通過設置任務類型的最大并發數做到資源的控制，但實際使用過程中，并不準確，也做不到很好的控制，主要原因為，調度本身并不能準確的知道被觸發執行的任務到底使用了多少資源，需要運行多少時間，也許少量幾個任務就能把機器運算資源使用光，導致運算資源不足，延誤運算時間，甚至運算平臺宕掉。

因此現有的任務調度方法沒辦法真實的解決資源使用/時間控制的問題，到最后經常發生運算平臺負載過重甚至宕機的現象，而且任務的運算時間也難以把握，導致很多時候滿足不了業務方的時間需求。

發明內容

本申請的目的是在傳統調度方法的基礎上，根據任務的調度類型來調度任務，避免由于數據平臺運算資源不夠，發生整個平臺宕掉，或者任務的觸發時間和完成時間沒有達到業務方的需求。

一種數據倉庫的任務調度方法，應用于數據倉庫進行任務調度，所述數據倉庫的任務均配置有調度類型，所述調度類型包括資源優先或時間優先，不同所述調度類型對應不同任務執行的觸發方式，所述任務調度方法包括步驟：

讀取任務，提取所述任務的調度類型，按照所述任務的調度類型，選擇所述調度類型所對應的任務執行的觸發方式；

以所述對應的任務執行的觸發方式觸發執行所述任務。

當所述的調度類型為資源優化時，以所述對應的任務執行的觸發方式觸發執行所述任務，包括步驟：

判斷執行任務的運算資源平臺的可用資源是否滿足所述任務預計需要的任務資源，如果滿足則進行下一步，否則返回去讀取下一個任務；

觸發執行所述任務；

收集所述任務實際使用資源信息。

進一步地，所述任務預計需要的任務資源是通過統計一定周期內每次運行時實際用到的資源情況，做平均值運算。

當所述調度類型為時間優先時，以所述對應的任務執行的觸發方式觸發執行所述任務，包括步驟：