[發明專利]一種基于混合集群的HPC作業集群感知方法

在審

• 申請號: 202210487700.2
• 申請日: 2022-05-06
• 公開（公告）號: CN114741161A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 郭瑩;白楊;張虎;曹文泰;孫明輝;袁夢
• 申請（專利權）人: 山東省計算中心（國家超級計算濟南中心）
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 楊樹云

本發明涉及一種基于混合集群的HPC作業集群感知方法，包括：A、獲取傳統虛擬化云集群環境和容器云集群環境作業運行日志記錄信息；B、初構建、處理傳統虛擬化云集群環境和容器云集群環境下的作業運行數據集；C、訓練得到基于傳統虛擬化云集群環境和容器云集群環境兩種環境下的基于RFR隨機森林回歸算法的預測模型；D、根據用戶提交的作業需求信息，預測模型給予運行時間、CPU使用率、內存使用率的預測；E、將作業運行結果信息對提交的作業進行集群感知模型的處理，最終形成HPC作業集群節點感知方法。本發明建立兩種環境下的預測模型，并以預測結果為依據進行集群節點感知，達到了根據作業需求自動感知最佳集群節點的效果。

技術領域

本發明涉及云計算以及高性能計算領域，特別是涉及一種基于混合集群的HPC作業集群節點感知方法。

背景技術

作為科技創新的重要手段，高性能計算應用于更多領域，包括核爆模擬、天氣預報、石油和天然氣勘探的地震研究、高分辨率固體和流體力學、社交媒體分析和分子動力學等，近年來更是在物理研究、核武器設計、航空航天飛行器設計、能源勘探、衛星圖像處理、國民經濟的預測和決策、情報分析、互聯網服務、工業仿真等領域有更深層次的運用。高性能計算的發展成為了科技進步的重要標志之一，同時也是一個國家科技綜合實力的集中體現。高性能計算執行計算任務通常是通過超級計算機，或者大規模高性能計算集群運行，通過集群內的各節點高速協同工作完成的。超級計算機或者高性能計算集群，成為現代超算中心的重要基礎設施。HPC(High Performance Computing，高性能計算機群)用戶通常可以訪問本地的高性能計算集群，但是基于資源和時間層面來說，對于用戶提交的作業及要求，可能本地的高性能計算集群提供的運行條件并不是最優的，比如對于用戶提交的新作業，資源不足以滿足時，可能導致作業在隊列中等待很長時間不得已運行。在這種背景下，由于云計算在彈性供應、輕量虛擬化、資源控制等方面的優勢，越來越多的一些學術和商業HPC用戶開始嘗試將云作為超級計算機或高性能計算集群的經濟替代方案。已有研究表明，由于云計算的虛擬化在網絡和存儲性能上存在一定的開銷，使得HPC應用無法在云上無法獲得與超算集群相媲美的性能，但云計算可以作為超級計算機或高性能計算的補充。首先，從HPC用戶角度來看，存在一部分對于性能要求不高、更注重性價比的用戶，愿意將HPC應用遷移到云上運行，以此獲得更短的排隊時間、更低廉的機時租用費用。第二，從平臺運營方角度來看，將適當的HPC作業轉移到云上運行，可以減少HPC集群的資源碎片，提高平臺整體資源的負載均衡和利用率，同時也可有效縮短用戶響應時間。同時，云平臺中的可視化和數據管理功能、靈活的軟件許可模式以及云增值服務都使得云對于HPC應用的發展越來越人性化。目前，大部分超算中心雖然具有異構計算集群(如高性能計算集群、云計算集群)的能力，但各個集群還是分別管理且分別負載各自的應用，并沒有實現基于混合集群的應用感知能力，不能及時且準確的為用戶判斷提交的作業適合運行于何種集群節點，即不能幫助用戶更好的確定提交的作業運行在本地集群還是基于云中的集群。

發明內容

為了克服上述技術問題的缺點，本發明提供了一種基于混合集群的HPC作業集群節點感知方法，提供選擇功能以支持決策。包括：根據提交的HPC作業需求信息來預測HPC作業適合在何種集群節點上運行，以此對HPC作業進行調度感知，為HPC用戶做出合適的、更優的選擇，并得到作業的運行結果。其中，對現有不同類別的HPC應用，通過數據中心獲取基于傳統虛擬化云集群環境和容器云集群環境下兩種不同的環境下HPC作業運行結果，取得運行的特征值；通過特征值的獲取建立數據集以及感知模型，預測并感知不同特征的HPC作業所適合的集群，達到最適合HPC作業感知的效果，給用戶反饋合適的工作分配解決方案下運行的作業結果。

術語解釋：

數據中心，是全球協作的特定設備網絡，用來在internet網絡基礎設施上傳遞、加速、展示、計算、存儲數據信息。