[發(fā)明專利]一種大數(shù)據(jù)資源動態(tài)調度方法、裝置和設備

在審

• 申請?zhí)枺?/td>: 202110757016.7
• 申請日: 2021-07-05
• 公開（公告）號: CN113391911A
• 公開（公告）日: 2021-09-14
• 發(fā)明（設計）人: 楊麗縈
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京三友知識產(chǎn)權代理有限公司 11127
• 代理人: 任默聞;王濤

本說明書實施例提供了一種大數(shù)據(jù)資源動態(tài)調度方法、裝置和設備，涉及大數(shù)據(jù)技術領域，其中，該方法包括：獲取目標作業(yè)的特征信息集；特征信息集中包括：執(zhí)行目標作業(yè)所需資源量的預估值、目標作業(yè)的計劃執(zhí)行時間、截止時間；根據(jù)執(zhí)行目標作業(yè)所需資源量的預估值、目標作業(yè)的計劃執(zhí)行時間、截止時間，確定目標作業(yè)在所述截止時間完成所需的資源量；獲取當前可分配的資源量；在目標時刻為目標作業(yè)分配資源；其中，目標時刻為目標作業(yè)在截止時間完成的最晚準入時刻。在本說明書實施例中，最大化地利用大數(shù)據(jù)集群資源，使更多作業(yè)可以按時完成，并且有效提高了資源調度系統(tǒng)的效率和準確性。

技術領域

本說明書實施例涉及大數(shù)據(jù)技術領域，特別涉及一種大數(shù)據(jù)資源動態(tài)調度方法、裝置和設備。

背景技術

分布式系統(tǒng)在計算和存儲上解決了大規(guī)模數(shù)據(jù)單機無法承載的問題，可實現(xiàn)批量作業(yè)的并行處理。現(xiàn)有技術中針對分布式系統(tǒng)的常見的資源管理系統(tǒng)可以細粒度地劃分集群資源，并通過跟蹤當下每個作業(yè)分配的資源和當下可用集群資源，通過公平調度器給系統(tǒng)分配資源。但是現(xiàn)有技術中的公平調度器是基于有無限資源的情況設計的，系統(tǒng)運行中往往存在高峰時段計算量遠遠大于平時的情況。由于實際作業(yè)需求的截止完成時間不同，因此，當資源受限的情況下若想保護關鍵作業(yè)按時完成時，則需要管理員需手動進行資源調度。而采用人工的方式進行資源調度無法及時地確定出調度方案，容易出現(xiàn)遺漏。由此可見，采用現(xiàn)有技術中得到技術方案無法準確地進行資源調度，以確保作業(yè)可以在截止時間之前完成。

針對上述問題，目前尚未提出有效的解決方案。

發(fā)明內容

本說明書實施例提供了一種大數(shù)據(jù)資源動態(tài)調度方法、裝置和設備，以解決現(xiàn)有技術中無法準確地進行資源調度，以確保作業(yè)可以在截止時間之前完成的問題。

本說明書實施例提供了一種大數(shù)據(jù)資源動態(tài)調度方法，包括：獲取目標作業(yè)的特征信息集；其中，所述特征信息集中包括：執(zhí)行所述目標作業(yè)所需資源量的預估值、所述目標作業(yè)的計劃執(zhí)行時間、截止時間；根據(jù)執(zhí)行所述目標作業(yè)所需資源量的預估值、所述目標作業(yè)的計劃執(zhí)行時間、截止時間，確定所述目標作業(yè)在所述截止時間完成所需的資源量；獲取當前可分配的資源量；根據(jù)所述目標作業(yè)在所述截止時間完成所需的資源量和所述當前可分配的資源量，在目標時刻為所述目標作業(yè)分配資源；其中，所述目標時刻為所述目標作業(yè)在所述截止時間完成的最晚準入時刻。

本說明書實施例還提供了一種大數(shù)據(jù)資源動態(tài)調度裝置，包括：第一獲取模塊，用于獲取目標作業(yè)的特征信息集；其中，所述特征信息集中包括：執(zhí)行所述目標作業(yè)所需資源量的預估值、所述目標作業(yè)的計劃執(zhí)行時間、截止時間；確定模塊，用于根據(jù)執(zhí)行所述目標作業(yè)所需資源量的預估值、所述目標作業(yè)的計劃執(zhí)行時間、截止時間，確定所述目標作業(yè)在所述截止時間完成所需的資源量；第二獲取模塊，用于獲取當前可分配的資源量；處理模塊，用于根據(jù)所述目標作業(yè)在所述截止時間完成所需的資源量和所述當前可分配的資源量，在目標時刻為所述目標作業(yè)分配資源；其中，所述目標時刻為所述目標作業(yè)在所述截止時間完成的最晚準入時刻。

本說明書實施例還提供了一種大數(shù)據(jù)資源動態(tài)調度設備，包括處理器以及用于存儲處理器可執(zhí)行指令的存儲器，所述處理器執(zhí)行所述指令時實現(xiàn)所述大數(shù)據(jù)資源動態(tài)調度方法的步驟。

本說明書實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機指令，所述指令被執(zhí)行時實現(xiàn)所述大數(shù)據(jù)資源動態(tài)調度方法的步驟。