[發明專利]ETL系統的資源管理方法及裝置

有效

• 申請號: 201810120744.5
• 申請日: 2018-02-07
• 公開（公告）號: CN108196959B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 周娣
• 申請（專利權）人: 聚好看科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/25
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 董建姣;劉芳

1.一種ETL系統中的任務資源管理方法，其特征在于，包括：

在第一任務的第一窗口周期中，獲取抽取轉化裝載ETL系統在預設時段內對所述第一任務進行處理的第一數據量；

根據所述第一數據量，確定對所述第一任務的資源進行調整的資源參考量；所述資源參考量為需要對所述第一任務的資源進行調整的資源量，所述第一數據量為所述ETL系統在所述預設時段內處理的、所述第一任務對應數據的數據量；

在所述第一任務的第二窗口周期中，根據所述第一任務的當前資源量和所述資源參考量，為所述第一任務進行資源分配，其中，所述第二窗口周期為所述第一窗口周期之后的一個窗口周期。

2.根據權利要求1所述的方法，其特征在于，所述根據所述第一數據量，確定對所述第一任務的資源進行調整的資源參考量，包括：

獲取所述ETL系統執行所述第一任務時，在所述預設時段中的各窗口周期的至少一個實際處理時長；

根據所述至少一個實際處理時長和一個窗口周期的時長，確定所述資源參考量。

3.根據權利要求1所述的方法，其特征在于，所述根據所述第一數據量，確定對所述第一任務的資源進行調整的資源參考量，包括：

獲取所述第一任務對應的、在一個窗口周期處理的預定義數據量；

獲取所述ETL系統在所述預設時段中各窗口周期處理所述第一任務的至少一個第二數據量；

根據所述至少一個第二數據量和所述預定義數據量，確定所述資源參考量。

4.根據權利要求3所述的方法，其特征在于，根據所述至少一個第二數據量和所述預定義數據量，確定所述資源參考量，包括：

根據所述至少一個第二數據量的變化率，確定在下一個預設時段內的預估數據量；

根據所述預估數據量和所述預定義數據量，確定資源參考量。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述在所述第一任務的第二窗口周期中，根據所述第一任務的當前資源量和所述資源參考量，為所述第一任務進行資源分配，包括：

若所述資源參考量為負數，則在所述第二窗口周期將所述第一任務的執行狀態設置為暫停狀態；

根據所述當前資源量和所述資源參考量為所述第一任務進行資源分配，并將所述暫停狀態切換至可執行狀態。

6.根據權利要求1-4任一項所述的方法，其特征在于，所述在所述第一任務的第二窗口周期，根據所述第一任務的當前資源量和所述資源參考量，為所述第一任務進行資源分配，包括：

若所述資源參考量為正數，則判斷資源池中的剩余資源量是否大于所述資源參考量；

若是，則在所述第二窗口周期將所述第一任務的執行狀態設置為暫停狀態；

根據所述當前資源量和所述資源參考量為所述第一任務進行資源分配，并將所述暫停狀態切換至可執行狀態。

7.根據權利要求1-4任一項所述的方法，其特征在于，獲取抽取轉化裝載ETL系統在預設時段內對第一任務進行處理的第一數據量之前，還包括：

確定所述第一任務的配置信息發生變化；或者，

確定所述ETL系統中的第二任務發生更新，且資源池的剩余資源量小于所述第二任務的資源需求量。

8.一種ETL系統中的任務資源管理裝置，其特征在于，包括獲取模塊、第一確定模塊和分配模塊，其中，

所述獲取模塊用于，在第一任務的第一窗口周期中，獲取抽取轉化裝載ETL系統在預設時段內對所述第一任務進行處理的第一數據量；

所述第一確定模塊用于，根據所述第一數據量，確定對所述第一任務的資源進行調整的資源參考量；所述資源參考量為需要對所述第一任務的資源進行調整的資源量，所述第一數據量為所述ETL系統在所述預設時段內處理的、所述第一任務對應數據的數據量；

所述分配模塊用于，在所述第一任務的第二窗口周期中，根據所述第一任務的當前資源量和所述資源參考量，為所述第一任務進行資源分配，其中，所述第二窗口周期為所述第一窗口周期之后的一個窗口周期。