[發(fā)明專利]一種基于多場景應(yīng)用的超算節(jié)點資源分配系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202211445530.8
• 申請日: 2022-11-18
• 公開（公告）號: CN115686865B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計）人: 李健增;孟祥飛;孫華文;張振偉;張士巖;劉金明;馮源;孫娜;唐斌
• 申請（專利權(quán)）人: 天河超級計算淮海分中心
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京鍾維聯(lián)合知識產(chǎn)權(quán)代理有限公司 11579
• 代理人: 黃利萍

1.一種基于多場景應(yīng)用的超算節(jié)點資源分配系統(tǒng)，其特征在于，所述系統(tǒng)包括通信連接的處理器、數(shù)據(jù)庫和存儲有計算機程序的存儲器，所述數(shù)據(jù)庫中存儲有m個預(yù)設(shè)超算節(jié)點使用等級表，其中，第i個預(yù)設(shè)超算節(jié)點使用等級表的第j行包括(W_ij，A_ij，T_ij，E_ij)，W_ij為第i個預(yù)設(shè)超算節(jié)點使用等級表中的第j個任務(wù)類型，A_ij為W_ij對應(yīng)的任務(wù)量，T_ij為W_ij對應(yīng)的平均單個任務(wù)計算耗時，E_ij為W_ij對應(yīng)的任務(wù)屬性，W_ij對應(yīng)的優(yōu)先級為Pi,i的取值為1到m，j的取值為1到f(i)，f(i)為第i個預(yù)設(shè)超算節(jié)點使用等級表的任務(wù)類型數(shù)量；P1＞P2＞…＞Pi＞…＞Pm；

其中，所述處理器用于執(zhí)行計算機程序，以實現(xiàn)如下步驟：

S100，在檢測到存在未處理的計算任務(wù)時，執(zhí)行S200；

S200，基于當(dāng)前未處理的計算任務(wù)和預(yù)設(shè)超算節(jié)點使用優(yōu)先級信息表，獲取按優(yōu)先級從高到低的順序排列的待計算任務(wù)組集C＝(C1，C2，...，Ck，…，CL)，其中，第k個任務(wù)組Ck＝(Ck₁，Ck₂，...，Ck_r，…，Ck_f(k)),Ck_r為Ck中的第r個待計算任務(wù)集，Ck_r＝(IDCk_r，RCk_r1，RCk_r2，...，RCk_rb，...，RCk_rh(k，r))，IDCk_r為Ck_r對應(yīng)的用戶ID，RCk_rb為Ck_r中的第b個待計算任務(wù)，Ck_r的優(yōu)先級為G_k，Ck_r的執(zhí)行順序為r，k的取值為1到L，L為C中的待計算任務(wù)組的數(shù)量，L≤m；r的取值為1到f(k)，f(k)為Ck中的待計算任務(wù)集的數(shù)量，b的取值為1到h(k，r)，h(k，r)為Ck_r中的待計算任務(wù)的數(shù)量；

S300，獲取可使用超算節(jié)點，并利用獲取到的可使用超算節(jié)點對C中的待計算任務(wù)依次進行處理；

S300具體包括：

S310，獲取從任務(wù)計算節(jié)點中釋放的超算節(jié)點，得到可使用超算節(jié)點；

S311，如果當(dāng)前處理的Ck_r的任務(wù)屬性為設(shè)定屬性，執(zhí)行S312；否則，執(zhí)行S313；

S312，基于Ck_r需要的超算節(jié)點數(shù)量，從可使用超算節(jié)點中獲取對應(yīng)數(shù)量的超算節(jié)點作為Ck_r的鎖定節(jié)點；在Ck_r中的待計算任務(wù)計算完后，執(zhí)行S318；

S313，如果當(dāng)前處理的Ck_r對應(yīng)的任務(wù)量和平均單個任務(wù)計算耗時滿足第一設(shè)定條件，執(zhí)行S314；如果滿足第二設(shè)定條件，執(zhí)行S315；否則，執(zhí)行S317；其中，第一設(shè)定條件為任務(wù)量大于設(shè)定任務(wù)數(shù)量閾值，平均單個任務(wù)耗時小于設(shè)定的單個任務(wù)計算耗時閾值，第二設(shè)定條件為任務(wù)量大于設(shè)定任務(wù)數(shù)量閾值，平均單個任務(wù)耗時大于設(shè)定的單個任務(wù)計算耗時閾值；所述設(shè)定任務(wù)數(shù)量閾值為大于10的數(shù)，所述設(shè)定的單個任務(wù)計算耗時閾值為大于12小時的數(shù)；

S314，如果Ck_r中已計算的任務(wù)數(shù)量Q(k，r)＜D1，則利用可使用超算節(jié)點繼續(xù)計算Ck_r中的D1-Q(k，r)個待計算任務(wù)，執(zhí)行S316；如果Q(k，r)＝D1，執(zhí)行S316；D1為第一設(shè)定閾值；

S315，如果Ck_r中已計算的任務(wù)數(shù)量Q(k，r)＜D2，則利用可使用超算節(jié)點繼續(xù)計算Ck_r中的D2-Q(k，r)個待計算任務(wù)，執(zhí)行S316；如果Q(k，r)＝D2，執(zhí)行S316；D2為第二設(shè)定閾值；

S316，將Ck_r的執(zhí)行順序調(diào)整為f(k)，并將Ck中除Ck_r之外的待計算任務(wù)集的執(zhí)行順序分別增加1；執(zhí)行S318；

S317，利用可使用超算節(jié)點對Ck_r中的待計算任務(wù)進行計算，在Ck_r中的待計算任務(wù)計算完后，執(zhí)行S318；

S318，設(shè)置r＝r+1；如果r≤f(k)，執(zhí)行S311，否則，執(zhí)行S319；

S319，設(shè)置k＝k+1；如果k≤L，執(zhí)行S311；否則，退出控制程序；