[發明專利]一種基于元數據的任務調度的優化方法及裝置

有效

• 申請號: 201610626403.6
• 申請日: 2016-08-03
• 公開（公告）號: CN107688488B
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 趙靜;萬純;王全勝
• 申請（專利權）人: 中國移動通信集團湖北有限公司;中國移動通信集團公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 王花麗;張穎玲

本發明公開了一種基于元數據的任務調度的優化方法及裝置，其中，所述方法包括：獲取元數據信息；獲取任務依賴關系圖，其中所述任務依賴關系圖是有向無環圖；根據所述元數據信息和所述任務依賴關系圖，確定滿足第一預設條件的任務，其中，所述第一預設條件為運行所述任務時僅需要依賴所述任務的前置任務中的部分任務；優化所述滿足第一預設條件的任務。

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于元數據的任務調度的優化方法及裝置。

背景技術

數據倉庫是一種面向決策主題、由多數據源集成、擁有當前及歷史總結數據、以讀為主的數據庫系統，其目的是支持決策。數據倉庫的處理過程眾多，包括建立數據倉庫的數據抽取、轉換、加載、數據集市生成、數據立方生成過程，數據倉庫管理的更新、歸檔過程，以及應用報表生成過程等。對于企業級數據倉庫系統，其中的處理程序成千上萬，如何有效的調度和管理這些任務是數據倉庫管理的重中之重，也是提高數據倉庫性能和資源利用率的關鍵。解決問題的關鍵之一是對元數據進行科學有效的管理。元數據是關于數據、操作數據的進程和應用程序的結構和意義的描述信息。元數據不僅定義了數據倉庫中數據的模式、來源以及抽取和轉換的規則等，而且整個數據倉庫系統的運行都是基于元數據的。所以，基于元數據的任務調度方法很大程度的影響了系統處理數據的效率。

在數據倉庫任務中，發現存在多個數據往同一個目標表插入數據時，后續的任務需要等待所有的數據插入完成時才會啟動，而實際上后續任務并不需要等待所有數據完成。這樣造成后續任務處理的延遲。如圖1所示，表Table4的處理生產任務為Task01、Task02和Task03。后續依賴觸發的任務有Task04和Task05。在一般的調度任務配置中，會等Task01、Task02和Task03處理完，才啟動Task04和Task05。

在這種多依賴的任務中，有些任務并不需要利用所有的前置任務都處理完成才能處理。我們把這種現象稱為過渡依賴。現有技術中，后置的任務需要依賴所有前置的任務都出來完成才能啟動，影響了數據處理的及時性。

發明內容

為解決現有技術中存在的問題，本發明實施例提供一種基于元數據的任務調度的優化方法及裝置，能夠提高數據處理的及時性。

為達到上述目的，本發明實施例的技術方案是這樣實現的：

第一方面，本發明實施例提供一種基于元數據的任務調度的優化方法，所述方法包括：

獲取元數據信息；

獲取任務依賴關系圖，其中，所述任務依賴關系圖是有向無環圖；

根據所述元數據信息和所述任務依賴關系圖，確定滿足第一預設條件的任務，其中，所述第一預設條件為運行所述任務時僅需要依賴所述任務的前置任務中的部分任務；

優化所述滿足第一預設條件的任務。

第二方面，本發明實施例提供一種基于元數據的任務調度的優化裝置，所述裝置包括：

第一獲取模塊，用于獲取元數據信息；

第二獲取模塊，用于獲取任務依賴關系圖，其中所述任務依賴關系圖是有向無環圖；

第一確定模塊，用于根據所述元數據信息和所述任務依賴關系圖，確定滿足第一預設條件的任務，其中，所述第一預設條件為運行所述任務時僅需要依賴所述任務的前置任務中的部分任務；

第一優化模塊，用于優化所述滿足第一預設條件的任務。