[發明專利]容器云環境中流數據處理系統的彈性資源調度方法及系統

有效

• 申請號: 201710288587.4
• 申請日: 2017-04-27
• 公開（公告）號: CN107193652B
• 公開（公告）日: 2019-11-12
• 發明（設計）人: 金海;吳松;王行軍
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智;曹葆青

1.一種容器云環境中流數據處理系統的彈性資源調度方法，其特征在于，包括：

S1、根據采集信息分析系統當前作業執行情況，對容器集群的資源狀態做出判斷，其中，所述采集信息包括上一個批次作業完成時間、上一個批次作業中每個容器節點花費的處理時間；

S2、若容器集群的資源緊張或者空閑，則由M個歷史批次作業中每個容器節點處理的負載數據量預測下一個批次作業的負載數據量，由上一個批次作業完成時間以及上一個批次作業的負載數據量計算容器節點的平均處理速度，然后依據下一個批次作業的負載數據量和平均處理速度計算新的集群規模大小，對容器集群規模進行擴展，M為第一預設值；

步驟S2包括以下步驟：

S2.1、由W'＝α*W+(1-α)*W_Δ對下一個批次作業的負載數據量進行預測，其中W'表示預測的下一個批次作業的負載數據量，W表示上一個批次作業的負載數據量，W_Δ表示最近兩個已經完成的批次作業的負載數據量差值，且批次作業的負載數據量為該批次作業中每個容器節點處理的負載數據量之和，α為第五預設值，且α由M個歷史批次作業中每個容器節點處理的負載數據量進行確定；

S2.2、由計算上一個批次作業中容器節點的平均處理速度；其中pt為上一個批次作業完成時間，N為容器集群中當前容器節點數量；

S2.3、由計算新的集群節點數量；其中λ為第二預設值，I為第三預設值，I表示流數據處理應用程序指定的批次周期；

S2.4、根據所述新的集群節點數量，增加或者減少容器節點，調整容器集群規模；

S3、若負載不均衡，則由M個歷史批次作業中每個容器節點處理的負載數據量預測在下一個批次作業中每個容器節點處理的負載數據量，并重新劃分CPU份額，對容器集群內部容器節點間進行CPU資源調度。

2.根據權利要求1所述的方法，其特征在于，步驟S1包括以下步驟：

S1.1、若pt≠λ*I，則說明系統處于不穩定狀態，需要進行資源調整；

S1.2、根據上一個批次作業中每個容器節點花費的處理時間nt，將容器節點分為兩類：

其中，fast類型節點表示執行速度快的節點，slow類型節點表示執行速度慢的節點，統計fast節點個數記為N_f，統計slow節點個數記為N_s，μ為第四預設值；

S1.3、若pt＞λ*I且N_s≥σ*N，則說明容器集群資源不足；若pt＞λ*I且N_s＜σ*N，則說明容器集群中容器節點負載不均；若pt＜λ*I且N_f≥σ*N，則說明容器集群資源過剩，其中σ為第四預設值。

3.根據權利要求2所述的方法，其特征在于，步驟S3包括以下步驟：

S3.1、由w'＝β*w+(1-β)*w_Δ對下一個批次作業中每個容器節點的負載數據量進行預測，其中w'表示預測的下一個批次作業中容器節點的負載數據量，w表示上一個批次作業中對應容器節點的負載數據量，w_Δ表示最近兩個已經完成的批次作業中對應容器節點的負載數據量差值，β為第六預設值，且β由M個歷史批次作業中每個容器節點處理的負載數據量進行確定；

S3.2、由計算下一個批次作業中各容器節點的CPU份額，其中，cpu_ratio_i'是第i個容器節點的CPU份額，w_i'是預測的下一個批次作業中第i個容器節點的負載數據量，cpu_ratio_i是上一個批次作業中第i個容器節點分配到的CPU份額；

S3.3、由下一個批次作業中各容器節點的CPU份額對容器節點的CPU份額進行調節。

4.根據權利要求2所述的方法，其特征在于，步驟S2.4具體包括：

若N'>N，則增加N'-N個容器節點，若N'<N，則根據上一個批次作業中每個容器節點的負載數據量，選擇N-N'個負載數據量最少的容器節點加入黑名單，并在I時間后關閉該N-N'個容器節點。