[發明專利]物理核超多線程服務器上大數據集群性能優化方法及裝置

有效

• 申請號: 201911416767.1
• 申請日: 2019-12-31
• 公開（公告）號: CN111176847B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 康凱;周培爍;王倩
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/455
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 李舜江

本發明提供一種物理核超多線程服務器上大數據集群性能優化方法及裝置，包括如下步驟：在物理核超線程形成邏輯核之后，將邏輯核劃分為n個虛擬核；將Job分解為m個子階段并給不同階段的容器分配不同的虛擬核；實時監控每個物理核負載根據監控結果動態調節虛擬核使用數。通過將Job的分解為子階段的方式解決容器一直綁定資源的問題，從而給不同階段的容器分配不同的虛擬核。監控每個物理核的過去多個設定時間段內虛擬核的load值來反應其負載情況，可以動態調整對下一階段的子job進行虛擬核的分配，在并發數沒有減少的前提下，使每個物理核的負載都能處于正常狀態，從而使超四線程物理核的性能優勢能夠發揮出來。

技術領域

本發明涉及虛擬技術領域，具體涉及一種物理核超多線程服務器上大數據集群性能優化方法及裝置。

背景技術

伴隨著當今社會服務器的發展，高性能服務器的發展也越來越快，服務器CPU的超線程技術(Hyper-Threading)也被廣泛的應用，目前通用的服務器來說，其CPU中每物理核能夠支持超2線程，一個物理核可以模擬出兩個邏輯核。目前已經投入應用了每物理核可以超四線程的高性能服務器，代表其CPU中一個物理核可以模擬出四個邏輯核，能夠提高瞬時并發能力，將成為未來高性能服務器的發展趨勢。

目前超四（多）線程的高性能服務器在處理事務中，可以滿足間歇性提高并發數的需求，有著一定的性能優勢，但是超四線程CPU的服務器在與大數據平臺結合時，卻有著一定的局限性。因為大數據平臺在使用yarn進行資源調度時使用container的方式對CPU核、RAM、磁盤等物理資源打包，大數據平臺中任務時間較長，指定的邏輯核是固定的，因為其每四個邏輯核由一個物理核模擬出來，如果cpu中一個物理核的四個邏輯核長時間處于高負載狀態時，會對該物理核產生巨大負載壓力，降低了其一定程度的性能，在超四線程服務器上的大數據平臺性能甚至不如使用相同配置下物理核超2線程時的性能。

發明內容

針對物理核的多個邏輯核長時間處于高負載狀態時，會對該物理核產生巨大負載壓力，降低了性能的問題，本發明提供一種物理核超多線程服務器上大數據集群性能優化方法及裝置。

本發明的技術方案是：

一方面，本發明技術方案提供一種物理核超多線程服務器上大數據集群性能優化方法，包括如下步驟：

在物理核超線程形成邏輯核之后，將邏輯核劃分為n個虛擬核；

將Job分解為m個子階段并給不同階段的容器分配不同的虛擬核；

實時監控每個物理核負載，根據監控結果動態調節虛擬核使用數。

進一步的，所述的在物理核超線程形成邏輯核之后，將邏輯核劃分為n個虛擬核的步驟還包括：

對同一物理核所屬的虛擬核建立標識；即將每一個物理核所對應形成的邏輯核劃為到一個集合中并對虛擬核進行標識。

進一步的，所述的將Job分解為m個子階段并給不同階段的容器分配不同的虛擬核的步驟具體包括：

結合spark、flink組件將一個job分成m個子階段；

將m個子階段的虛擬核按照時間順序進行調度；

通過改變每個子階段所使用的容器數與每個容器中所調度的虛擬核資源來使每個子階段所利用的虛擬核的資源不同，結合每一個物理核劃分的集合來標記其所形成的全部虛擬核來進行區分調度。

進一步的，所述的實時監控每個物理核負載根據監控結果動態調節虛擬核使用數的步驟包括：

監控每個物理核的虛擬核的load值；

根據不同時間段的load值進行該邏輯核在一段時間內的負載程度的判斷；