[發(fā)明專利]一種任務分配方法、裝置、設(shè)備及計算機可讀介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110219811.0
• 申請日: 2021-02-26
• 公開（公告）號: CN112948111B
• 公開（公告）日: 2023-07-14
• 發(fā)明（設(shè)計）人: 羅廷方;段效晨;康林
• 申請（專利權(quán)）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京華夏泰和知識產(chǎn)權(quán)代理有限公司 11662
• 代理人: 孟德棟

1.一種任務分配方法，其特征在于，所述方法包括：

響應于待處理任務的任務處理請求，獲取至少兩個資源池的剩余資源和每個所述資源池所屬服務器集群的集群性能參數(shù)；

獲取待處理任務的任務數(shù)據(jù)；

根據(jù)所述任務數(shù)據(jù)以及各個資源池所屬服務器集群的集群性能參數(shù)，確定不同資源池所屬服務器集群處理所述待處理任務時的所需資源量；

將所述剩余資源大于或等于所述所需資源量的至少一個資源池作為待選資源池，計算每個待選資源池處理所述待處理任務的預估處理時間；

根據(jù)每個待選資源池所屬服務器集群處理所述待處理任務的預估處理時間，確定所述待處理任務的目標資源池，包括：

判斷所述預估處理時間最小的待選資源池對應的任務列表是否為空；

若預估處理時間最小的待選資源池對應的任務列表為空，將預估處理時間最小的待選資源池作為所述目標資源池；

若預估處理時間最小的待選資源池對應的任務列表不為空，獲取每個待選資源池對應的任務列表中等待任務的預估處理時間；

根據(jù)每個待選資源池對應的任務列表中等待任務的預估處理時間，計算每個待選資源池在預設(shè)時間段內(nèi)處理任務的數(shù)量；

選擇預設(shè)時間段內(nèi)處理任務的數(shù)量最多的待選資源池作為目標資源池；

將所述待處理任務分配至所述目標資源池。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取每個所述資源池所屬服務器集群的集群性能參數(shù)，包括：

獲取每個資源池所屬服務器集群中的HIVE配置參數(shù)，以及獲取每個資源池所屬服務器集群的數(shù)據(jù)讀速率DR和數(shù)據(jù)寫速率DW；

根據(jù)所述HIVE配置參數(shù)確定每個資源池所屬服務器集群中單個歸約函數(shù)配置的參考數(shù)據(jù)處理量，每個任務最多配置的歸約函數(shù)配置量，以及，單個歸約函數(shù)配置最大數(shù)據(jù)處理量和最小數(shù)據(jù)處理量。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，獲取待處理任務的任務數(shù)據(jù)，包括：

獲取所述待處理任務中所包含數(shù)據(jù)表所對應的數(shù)據(jù)集的數(shù)據(jù)量值；以及，獲取所述待處理任務的維度；

將所有表的數(shù)據(jù)集的數(shù)據(jù)量值相加得到待處理總數(shù)據(jù)量；

將所述待處理總數(shù)據(jù)量和維度，作為所述待處理任務的任務數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，確定不同資源池所屬服務器集群處理所述待處理任務時的所需資源量，包括：

針對每個資源池所屬服務器集群，利用參考數(shù)據(jù)處理量、最大數(shù)據(jù)處理量和最小數(shù)據(jù)處理量計算平均數(shù)據(jù)處理量；

利用總數(shù)據(jù)量除以平均數(shù)據(jù)處理量計算映射函數(shù)個數(shù)；

利用歸約函數(shù)配置量、總數(shù)據(jù)量和參考數(shù)據(jù)處理量計算歸約函數(shù)個數(shù)；

利用映射函數(shù)個數(shù)和歸約函數(shù)個數(shù)，計算所述所需資源量。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述計算每個待選資源池處理所述待處理任務的預估處理時間，包括：

根據(jù)所述待處理任務的映射函數(shù)個數(shù)和歸約函數(shù)個數(shù)，計算所述待處理任務的任務權(quán)重；

根據(jù)所述任務權(quán)重和所述維度，確定所述待處理任務的任務復雜度；

根據(jù)所述任務復雜度、每個待選資源池所屬服務器集群的數(shù)據(jù)讀速率DR和數(shù)據(jù)寫速率DW，計算每個待選資源池處理所述待處理任務的預估處理時間。

6.根據(jù)權(quán)利要求1-5任一項所述的方法，其特征在于，所述方法還包括：

判斷是否存在剩余資源大于或等于所述所需資源量的資源池；

若不存在所述剩余資源大于或等于所述所需資源量的資源池，將所述待處理任務加入至批量等待列表中，并檢測任意一個或多個資源池是否有資源釋放操作；若任意一個或多個資源池有資源釋放操作，執(zhí)行判斷是否存在剩余資源大于或等于所述所需資源量的資源池的步驟，直至出現(xiàn)剩余資源大于或等于所述所需資源量的資源池。