[發明專利]一種實現ETL調度的方法及系統

有效

• 申請號: 200910137527.8
• 申請日: 2009-04-28
• 公開（公告）號: CN101533417A
• 公開（公告）日: 2009-09-16
• 發明（設計）人: 蔣杰;陳榮松;蔣萃林
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/50
• 代理公司: 北京同達信恒知識產權代理有限公司
• 代理人: 魏 杉

1.一種數據抽取、轉換和加載ETL調度的實現方法，其特征在于，包括：

根據預設的任務配置文件確定當前需要執行的至少一個任務，所述任務配 置文件包括完成ETL調度所需執行的各任務，以及各任務之間的依賴關系， 所述任務為原子級的任務，為ETL調度針對的后臺程序；

獲取各應用服務器的資源信息，并將所述資源信息與針對所述至少一個任 務預設的限定條件進行比較，獲得比較結果，所述資源信息包括應用服務器當 前執行的進程數、應用服務器當前數據庫表內剩余的存儲空間和應用服務器當 前的CPU使用率中的一種或任意組合；

根據所述比較結果對各應用服務器進行篩選，若確定存在符合預設的限定 條件的應用服務器，選定用于執行所述至少一個任務的應用服務器；若確定不 存在符合預設的限定條件的應用服務器，則將所述至少一個任務保存至緩沖池 中，定時提取所述至少一個任務，并判斷當前是否存在符合所述限定條件的應 用服務器，并在確定存在符合所述限定條件的應用服務器時，選定用于執行所 述至少一個任務的應用服務器；

將所述至少一個任務分配至選定的應用服務器，并指示該應用服務器根據 設定的程序代碼執行所述至少一個任務。

2.如權利要求1所述的方法，其特征在于，對各應用服務器進行篩選時， 若確定存在兩個或兩個以上符合所述限定條件的應用服務器，則從中隨機選定 一個應用服務器。

3.如權利要求1所述的方法，其特征在于，所述至少一個任務在緩沖池中 保存的時間長度超過設定閾值時，將所述至少一個任務終止或掛起。

4.如權利要求1-3任一項所述的方法，其特征在于，指示選定的應用服 務器根據設定的程序代碼執行分配到的至少一個任務時，從指定存儲位置獲取 執行所述至少一個任務所需的程序代碼并將該程序代碼發送至選定的應用服 務器，或者，將所述程序代碼的指定存儲位置通知選定的應用服務器，由該選 定的應用服務器自行獲取。

5.如權利要求4所述的方法，其特征在于，接收到所述選定的應用服務 器返回的所述至少一個任務的執行結果后，根據所述任務配置文件確定存在依 賴所述至少一個任務的另一任務時，指示觸發所述另一任務的執行流程。

6.一種管理系統，其特征在于，包括：

知識庫單元，用于保存任務配置文件、針對各任務預設的限定條件和執行 各任務時所需的程序代碼，所述任務配置文件包括完成數據抽取、轉換和加載 ETL調度所需執行的各任務之間的依賴關系，所述任務為原子級的任務，為 ETL調度針對的后臺程序；

控制單元，用于對各應用服務器的運行狀態進行監測，獲得各應用服務器 的資源信息，所述資源信息包括應用服務器當前執行的進程數、應用服務器當 前數據庫表內剩余的存儲空間和應用服務器當前的CPU使用率中的一種或任 意組合；

調度單元，用于解析所述任務配置文件以確定當前需要執行的至少一個任 務，并指示代理單元執行所述至少一個任務；

代理單元，用于從所述控制單元獲取各應用服務器的資源信息，從所述知 識庫單元獲取針對所述至少一個任務預設的限定條件，并將兩者進行比較，獲 得比較結果，以及根據所述比較結果對各應用服務器進行篩選，若確定存在符 合預設的限定條件的應用服務器，選定用于執行所述至少一個任務的應用服務 器，并將所述至少一個任務分配至選定的應用服務器，指示該應用服務器根據 設定的程序代碼執行所述至少一個任務；若確定不存在符合預設的限定條件的 應用服務器，則將所述至少一個任務保存至緩沖池中，定時提取所述至少一個 任務，并判斷當前是否存在符合所述限定條件的應用服務器，并在確定存在符 合所述限定條件的應用服務器時，選定用于執行所述至少一個任務的應用服務 器，并將所述至少一個任務分配至選定的應用服務器，指示該應用服務器根據 設定的程序代碼執行所述至少一個任務。

7.如權利要求6所述的管理系統，其特征在于，所述定時處理單元確定 所述至少一個任務在緩沖池中保存的時間長度超過設定閾值時，將所述至少一 個任務終止或掛起。