[發(fā)明專利]資源分配方法、裝置以及電子設備

有效

• 申請?zhí)枺?/td>: 202010033360.7
• 申請日: 2020-01-13
• 公開（公告）號: CN111258759B
• 公開（公告）日: 2023-05-16
• 發(fā)明（設計）人: 邱峰志;李輝
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/25
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 曹娜

本申請公開了一種資源分配方法、裝置以及電子設備，涉及資源分配領域。具體實現(xiàn)方案為：根據目標業(yè)務在歷史周期的運行數(shù)據和上游業(yè)務在當前周期的運行數(shù)據，得到目標業(yè)務在當前周期的資源量，目標業(yè)務與上游業(yè)務具有數(shù)據依賴關系；在當前周期內利用資源量運行目標業(yè)務，并監(jiān)測目標業(yè)務在各執(zhí)行器中的運行數(shù)據的變化；根據目標業(yè)務在各執(zhí)行器中的運行數(shù)據的變化，實時調整目標業(yè)務的資源量和/或目標業(yè)務在各執(zhí)行器的數(shù)據分布。提高了集群的資源利用率，使得業(yè)務運行性能相對穩(wěn)定、可配置。即使底層環(huán)境發(fā)生變化，也會通過自動增加或減少資源量，保持業(yè)務運行性能相對穩(wěn)定。同時，還可以通過調整業(yè)務運行性能的配置參數(shù)來配置業(yè)務運行性能。

技術領域

本申請涉及大數(shù)據業(yè)務技術領域，尤其涉及資源分配領域。

背景技術

隨著互聯(lián)網技術持續(xù)的發(fā)展與應用，產生了海量的數(shù)據與各式各樣的數(shù)據計算引擎。數(shù)據計算引擎是用來對數(shù)據做計算的組件。為了提取海量數(shù)據中有價值的數(shù)據，需要開發(fā)大量的數(shù)據ETL(抽取、轉換以及加載，Extract-Transform-Load)業(yè)務，并且按照一定的周期，在線運行這些ETL業(yè)務。其中，ETL用來描述將數(shù)據從數(shù)據源經過抽取(extract)、轉換(transform)、加載(load)至目的數(shù)據源的過程。

Spark作為目前流行的大數(shù)據解決方案，有著眾多優(yōu)良特性。在Spark中包括數(shù)據計算引擎。現(xiàn)有的Spark業(yè)務普遍采用的資源分配方案，在啟動ETL業(yè)務的命令中可以配置用于運行業(yè)務的資源量，這部分資源量的配置就是業(yè)務的資源預分配方案。然而，如果定義一個相對寬松的資源預分配方案，并對所有的ETL業(yè)務使用這個資源預分配方案，那么對于業(yè)務量小的ETL業(yè)務，會出現(xiàn)資源過剩，造成集群資源利用率低的情況。對于業(yè)務量大的ETL業(yè)務，會出現(xiàn)資源不足，造成業(yè)務運行性能低、耗時長的情況。

所以，現(xiàn)有的資源分配方案都無法分配適當?shù)馁Y源量來運行ETL業(yè)務。

發(fā)明內容

本申請?zhí)峁┝速Y源分配的方法、裝置、電子設備及存儲介質。

第一方面，本申請實施例提供一種資源分配方法，包括：

根據目標業(yè)務在歷史周期的運行數(shù)據和上游業(yè)務在當前周期的運行數(shù)據，得到目標業(yè)務在當前周期的資源量，目標業(yè)務與上游業(yè)務具有數(shù)據依賴關系；

在當前周期內利用資源量運行目標業(yè)務，并監(jiān)測目標業(yè)務在各執(zhí)行器中的運行數(shù)據的變化；

根據目標業(yè)務在各執(zhí)行器中的運行數(shù)據的變化，實時調整目標業(yè)務的資源量和/或目標業(yè)務在各執(zhí)行器的數(shù)據分布。

本實施方式中，提高了集群的資源利用率，使得業(yè)務運行性能相對穩(wěn)定、可配置。即使底層環(huán)境發(fā)生變化，通過自動增加或減少資源量，保持業(yè)務運行性能相對穩(wěn)定。同時，還可以通過調整業(yè)務運行性能的配置參數(shù)來配置業(yè)務運行性能。

在一種實施方式中，還包括：

在目標業(yè)務運行完成的情況下，記錄目標業(yè)務在當前周期的運行數(shù)據。

本實施方式中，目標業(yè)務在下一個周期運行時，讀取存入日志表的目標業(yè)務在當前周期的運行數(shù)據，作為下一周期的資源預分配的參考數(shù)據，提高了資源量分配的是適應性和準確性。

在一種實施方式中，根據目標業(yè)務在歷史周期的運行數(shù)據和上游業(yè)務在當前周期的運行數(shù)據，得到目標業(yè)務在當前周期的資源量，包括：

在未查找到目標業(yè)務在歷史周期的運行數(shù)據的情況下，確定目標業(yè)務是新業(yè)務，得到第一資源量；

第一資源量包括：預先設置的執(zhí)行器的數(shù)量、執(zhí)行器的核數(shù)和單個執(zhí)行器的內存量。

本實施方式中，在未查找到目標業(yè)務在歷史周期的運行數(shù)據的情況下，利用預設的第一資源量來運行新業(yè)務，保證有足夠的資源量來運行目標業(yè)務。