[發(fā)明專利]一種面向高性能計算的存儲服務(wù)資源管理方法

在審

• 申請?zhí)枺?/td>: 202110387037.4
• 申請日: 2021-04-12
• 公開（公告）號: CN114217914A
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計）人: 劉鑫;高潔;肖偉;余婷
• 申請（專利權(quán)）人: 無錫江南計算技術(shù)研究所
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 蘇州創(chuàng)元專利商標事務(wù)所有限公司 32103
• 代理人: 王健

本發(fā)明公開一種面向高性能計算的存儲服務(wù)資源管理方法，包括運算節(jié)點到存儲服務(wù)資源映射查詢、存儲服務(wù)資源到運算節(jié)點的映射查詢和存儲服務(wù)資源調(diào)度；所述管理節(jié)點，用于將查詢?nèi)蝿?wù)指派到指定的CE節(jié)點，還用于選擇調(diào)度策略并計算映射關(guān)系，將調(diào)度任務(wù)派送到指定的CE節(jié)點；所述CE節(jié)點層，用于在CE節(jié)點上以多進程的方式登錄到多個運算節(jié)點，執(zhí)行具體的查詢?nèi)蝿?wù)，還用于在CE節(jié)點上以多進程的方式登錄到轉(zhuǎn)發(fā)節(jié)點，然后在轉(zhuǎn)發(fā)節(jié)點上獲取具體的映射信息，執(zhí)行具體的調(diào)度任務(wù)；所述運算節(jié)點層為存儲服務(wù)資源的使用層。本發(fā)明解決了存儲服務(wù)資源和計算節(jié)點快速查詢和調(diào)度的問題，快速高效，可擴展性、通用性強。

技術(shù)領(lǐng)域

本發(fā)明涉及一種面向高性能計算的存儲服務(wù)資源管理方法，屬于高性能計算領(lǐng)域。

背景技術(shù)

在高性能計算領(lǐng)域，隨著高性能計算機的計算性能的不斷提升，存儲規(guī)模也在不斷擴大。目前，計算性能主要通過計算資源的不斷擴展來提升，而存儲系統(tǒng)則是采用運算節(jié)點-轉(zhuǎn)發(fā)節(jié)點-全局存儲的三層轉(zhuǎn)發(fā)架構(gòu)，通過增加轉(zhuǎn)發(fā)節(jié)點的數(shù)量來效緩解底層分布式存儲的壓力，實現(xiàn)存儲規(guī)模的擴展。

在P級高性能計算機中，運算節(jié)點的數(shù)量已達到數(shù)萬個，轉(zhuǎn)發(fā)節(jié)點的數(shù)量也達到數(shù)百個，而在某些高性能計算平臺中，運算節(jié)點與轉(zhuǎn)發(fā)節(jié)點之間是以一種靜態(tài)映射的方式形成固定的服務(wù)關(guān)系。在以下兩種場景中，上述固定映射關(guān)系的弊端尤為突出：一是在轉(zhuǎn)發(fā)節(jié)點故障時，其對應(yīng)的運算節(jié)點文件系統(tǒng)將無法使用，為了保證計算資源不浪費，必須使用其他的轉(zhuǎn)發(fā)節(jié)點來代替，但是重新映射可操作性差，而且已有的映射關(guān)系發(fā)生變化，會導(dǎo)致映射關(guān)系混亂，管理難度成倍增加；二是為了臨時提升用戶應(yīng)用程序的I/O性能，一種最直接的方法就是為用戶隊列內(nèi)的運算節(jié)點分配更多的存儲服務(wù)資源，然而運算節(jié)點和存儲服務(wù)資源之間重新建立映射關(guān)系實施起來比較困難。

在超大規(guī)模環(huán)境下，尚沒有一種高效的映射查詢方法，而存儲服務(wù)資源調(diào)度則是以單進程方式逐一進行修改映射關(guān)系，執(zhí)行效率很低。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種面向高性能計算的存儲服務(wù)資源管理方法，以解決高性能計算平臺中計算節(jié)點與存儲服務(wù)資源之間的映射關(guān)系查詢與存儲服務(wù)資源調(diào)度的問題。

為達到上述目的，本發(fā)明采用的技術(shù)方案是：提供一種面向高性能計算的存儲服務(wù)資源管理方法，基于由管理節(jié)點層、CE節(jié)點層和運算節(jié)點層構(gòu)成的分層管理結(jié)構(gòu)，包括運算節(jié)點到存儲服務(wù)資源映射查詢、存儲服務(wù)資源到運算節(jié)點的映射查詢和存儲服務(wù)資源調(diào)度；

所述管理節(jié)點，用于將待查詢的運算節(jié)點分組和查詢結(jié)果的格式化處理，還用于將查詢?nèi)蝿?wù)指派到指定的CE節(jié)點，還用于選擇調(diào)度策略并計算映射關(guān)系，將調(diào)度任務(wù)派送到指定的CE節(jié)點；

所述CE節(jié)點層，用于在CE節(jié)點上以多進程的方式登錄到多個運算節(jié)點，執(zhí)行具體的查詢?nèi)蝿?wù)，還用于在CE節(jié)點上以多進程的方式登錄到轉(zhuǎn)發(fā)節(jié)點，然后在轉(zhuǎn)發(fā)節(jié)點上獲取具體的映射信息，還用于在CE節(jié)點上以多進程的方式登錄到計算節(jié)點，執(zhí)行具體的調(diào)度任務(wù)；

所述運算節(jié)點層為存儲服務(wù)資源的使用層；

所述運算節(jié)點到存儲服務(wù)資源映射查詢包括以下步驟：

S11、在管理節(jié)點對待查詢的運算節(jié)點按照均勻分配原則分組，然后將分配好的計算節(jié)點分別派送給指定的CE節(jié)點；

S12、CE節(jié)點從管理節(jié)點處獲得待查詢的計算節(jié)點，CE節(jié)點立即向指派的運算節(jié)點發(fā)送查詢?nèi)蝿?wù)；

S13、CE節(jié)點收到運算節(jié)點發(fā)回的查詢結(jié)果，并反饋給管理節(jié)點；

S14、管理節(jié)點對查詢結(jié)果格式化處理并輸出，從而完成運算節(jié)點存儲服務(wù)資源的查詢?nèi)蝿?wù)；

所述存儲服務(wù)資源到運算節(jié)點的映射查詢包括以下步驟：

S21、管理節(jié)點向CE節(jié)點發(fā)出查詢指令后，在多個CE節(jié)點上并發(fā)登陸到轉(zhuǎn)發(fā)節(jié)點；

S22、在轉(zhuǎn)發(fā)節(jié)點上，通過netstat命令獲取已建立的TCP連接；

S23、根據(jù)管理節(jié)點的查詢指令中指定的端口號過濾對應(yīng)存儲服務(wù)資源的運算節(jié)點的IP地址和端口號；