[發明專利]物理核超多線程服務器上大數據集群性能優化方法及裝置

有效

• 申請號: 201911416767.1
• 申請日: 2019-12-31
• 公開（公告）號: CN111176847B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 康凱;周培爍;王倩
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/455
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 李舜江

1.一種物理核超多線程服務器上大數據集群性能優化方法，其特征在于，包括如下步驟：

在物理核超線程形成邏輯核之后，將邏輯核劃分為n個虛擬核；

將Job分解為m個子階段并給不同階段的容器分配不同的虛擬核；

實時監控每個物理核負載，根據監控結果動態調節虛擬核使用數；具體包括：監控每個物理核的虛擬核的load值；根據不同時間段的load值進行該邏輯核在一段時間內的負載程度的判斷；根據負載程度動態調整job執行中的下一階段時該邏輯核所對應的虛擬核被容器調用的數目；當判斷邏輯核處于高負載狀態，則減少job執行中的下一階段時該邏輯核所對應的虛擬核被容器調用的數目；當判斷邏輯核處于非高負載狀態，且此時同一物理核集合中沒有處于高負載狀態的邏輯核，則增加該job執行中的下一階段時該邏輯核對應的虛擬核被容器調用的數目。

2.根據權利要求1所述的一種物理核超多線程服務器上大數據集群性能優化方法，其特征在于，所述的在物理核超線程形成邏輯核之后，將邏輯核劃分為n個虛擬核的步驟還包括：

對同一物理核所屬的虛擬核建立標識；即將每一個物理核所對應形成的邏輯核劃分到一個集合中并對虛擬核進行標識。

3.根據權利要求2所述的一種物理核超多線程服務器上大數據集群性能優化方法，其特征在于，所述的將Job分解為m個子階段并給不同階段的容器分配不同的虛擬核的步驟具體包括：

結合spark、flink組件將一個job分成m個子階段；

將m個子階段的虛擬核按照時間順序進行調度；

通過改變每個子階段所使用的容器數與每個容器中所調度的虛擬核資源來使每個子階段所利用的虛擬核的資源不同，結合每一個物理核劃分的集合來標記其所形成的全部虛擬核來進行區分調度。

4.根據權利要求3所述的一種物理核超多線程服務器上大數據集群性能優化方法，其特征在于，所述的實時監控每個物理核負載根據監控結果動態調節虛擬核使用數的步驟包括：

根據CPU的型號不同設定CPU的基準負載值和CPU的觸發負載值；

實時監控每個邏輯核的設定時間段內邏輯核的load值，建立邏輯核負載程度數學模型，負載程度數學模型輸出值分別與CPU的基準負載值和CPU的觸發負載值進行比較，根據比較結果調整job執行中的下一階段時該邏輯核所對應的虛擬核被容器調用的數目。

5.根據權利要求4所述的一種物理核超多線程服務器上大數據集群性能優化方法，其特征在于，所述的設定時間段為第一時間段、第二時間段、第三時間段；

實時監測每個邏輯核的過去第一時間段、第二時間段、第三時間段內邏輯核的load值，設置其值分別為x，y，z；

設定邏輯核負載程度F=x*0.4+y*0.35+z*0.25；

當Fa時，判斷該邏輯核處于高負載狀態；

當F=b時，判斷該邏輯核處于非高負載狀態。

6.一種物理核超多線程服務器上大數據集群性能優化裝置，其特征在于，包括邏輯核劃分模塊、處理分配模塊、監控調整模塊；

邏輯核劃分模塊，用于在物理核超線程形成邏輯核之后，將邏輯核劃分為n個虛擬核；

處理分配模塊，用于將Job分解為m個子階段并給不同階段的容器分配不同的虛擬核；

監控調整模塊，用于實時監控每個物理核負載根據監控結果動態調節虛擬核的使用數，具體用于監控每個物理核的虛擬核的load值；根據不同時間段的load值進行該邏輯核在一段時間內的負載程度的判斷；根據負載程度動態調整job執行中的下一階段時該邏輯核所對應的虛擬核被容器調用的數目；當判斷邏輯核處于高負載狀態，則減少job執行中的下一階段時該邏輯核所對應的虛擬核被容器調用的數目；當判斷邏輯核處于非高負載狀態，且此時同一物理核集合中沒有處于高負載狀態的邏輯核，則增加該job執行中的下一階段時該邏輯核對應的虛擬核被容器調用的數目。