[發明專利]ETL系統的資源管理方法及裝置

有效

• 申請號: 201810120744.5
• 申請日: 2018-02-07
• 公開（公告）號: CN108196959B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 周娣
• 申請（專利權）人: 聚好看科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/25
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 董建姣;劉芳

本發明實施例提供一種ETL系統的資源管理方法及裝置，該方法包括：在第一任務的第一窗口周期中，獲取抽取轉化裝載ETL系統在預設時段內對第一任務進行處理的第一數據量；根據第一數據量，確定對第一任務的資源進行調整的資源參考量；在第一任務的第二窗口周期中，根據第一任務的當前資源量和資源參考量，為第一任務進行資源分配，其中，第二窗口周期為第一窗口周期之后的一個窗口周期。用于提高資源的利用率。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種ETL系統的資源管理方法及裝置。

背景技術

抽取轉換裝載(Extract-Transform-Load，簡稱ETL)系統可以從數據源系統(例如業務系統、第三方系統等)獲取數據，并對獲取得到的數據進行抽取、轉換和裝載處理，并將處理后的數據存儲至目標數據庫。

ETL系統可以并行執行多個任務，每一個任務用于對一種類型的數據進行處理。在現有技術中，在ETL系統執行任務之前，根據預設的配置信息為任務分配資源，例如中央處理器(Central Processing Unit，簡稱CPU)資源、內存資源以及硬盤資源等，并根據為任務配置的資源執行任務，直至任務執行結束。然而，在現有技術中，在ETL任務執行過程中，數據源系統向ETL系統提供數據的數據量可能不穩定，即，數據源系統在部分時段內向ETL系統提供的數據量可能較多，在部分時段向ETL系統提供的數據量可能較少。因此，對于同一任務來說，該任務在不同時段內需要處理的數據量也不同。當該任務在部分時段內需要處理的數據量較多時，可能導致為任務分配的資源不足，當該任務在部分時段內需要處理的數據量較少時，可能導致為任務分配的資源浪費。由上可知，現有技術中對資源的利用率較低。

發明內容

本發明實施例提供一種ETL系統的資源管理方法及裝置，提高了資源的利用率。

第一方面，本發明實施例提供一種ETL系統中的任務資源管理方法，包括：

在第一任務的第一窗口周期中，獲取抽取轉化裝載ETL系統在預設時段內對所述第一任務進行處理的第一數據量；

根據所述第一數據量，確定對所述第一任務的資源進行調整的資源參考量；

在所述第一任務的第二窗口周期中，根據所述第一任務的當前資源量和所述資源參考量，為所述第一任務進行資源分配，其中，所述第二窗口周期為所述第一窗口周期之后的一個窗口周期。

在一種可能的實施方式中，所述根據所述第一數據量，確定對所述第一任務的資源進行調整的資源參考量，包括：

獲取所述ETL系統執行所述第一任務時，在所述預設時段中的各窗口周期的至少一個實際處理時長；

根據所述至少一個實際處理時長和一個窗口周期的時長，確定所述資源參考量。

在另一種可能的實施方式中，所述根據所述第一數據量，確定對所述第一任務的資源進行調整的資源參考量，包括：

獲取所述第一任務對應的、在一個窗口周期處理的預定義數據量；

獲取所述ETL系統在所述預設時段中各窗口周期處理所述第一任務的至少一個第二數據量；

根據所述至少一個第二數據量和所述預定義數據量，確定所述資源參考量。

在另一種可能的實施方式中，根據所述至少一個第二數據量和所述預定義數據量，確定資源參考量，包括：

根據所述至少一個第二數據量的變化率，確定在下一個預設時段內的預估數據量；

根據所述預估數據量和所述預定義數據量，確定資源參考量。

在另一種可能的實施方式中，所述在所述第一任務的第二窗口周期，根據所述第一任務的當前資源量和所述資源參考量，為所述第一任務進行資源分配，包括：