[發(fā)明專(zhuān)利]面向共享式突發(fā)數(shù)據(jù)緩存的基于競(jìng)爭(zhēng)感知的節(jié)點(diǎn)分配方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010150503.2
• 申請(qǐng)日: 2020-03-06
• 公開(kāi)（公告）號(hào): CN111338782A
• 公開(kāi)（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 安虹;梁偉浩;韓文廷;陳俊仕;方濤;張子豫
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類(lèi)號(hào): G06F9/48
• 分類(lèi)號(hào): G06F9/48;G06F9/50;G06F9/54
• 代理公司: 北京凱特來(lái)知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種面向共享式突發(fā)數(shù)據(jù)緩存的基于競(jìng)爭(zhēng)感知的節(jié)點(diǎn)分配方法，其特征在于，包括：

實(shí)時(shí)記錄和分析即將運(yùn)行的作業(yè)應(yīng)用的I/O狀態(tài)信息；

實(shí)時(shí)監(jiān)控當(dāng)前運(yùn)行的作業(yè)應(yīng)用在突發(fā)數(shù)據(jù)緩存系統(tǒng)中的分布情況，從而計(jì)算緩存節(jié)點(diǎn)的負(fù)載量；

利用緩存節(jié)點(diǎn)調(diào)度分配算法，根據(jù)突發(fā)數(shù)據(jù)緩存系統(tǒng)中緩存節(jié)點(diǎn)的I/O帶寬競(jìng)爭(zhēng)情況與負(fù)載量以及即將運(yùn)行的作業(yè)應(yīng)用的I/O狀態(tài)信息，為即將運(yùn)行的作業(yè)應(yīng)用分配相應(yīng)的緩存節(jié)點(diǎn)，然后，更新即將運(yùn)行的作業(yè)應(yīng)用的I/O狀態(tài)信息與緩存節(jié)點(diǎn)的負(fù)載量。

2.根據(jù)權(quán)利要求1所述的一種面向共享式突發(fā)數(shù)據(jù)緩存的基于競(jìng)爭(zhēng)感知的節(jié)點(diǎn)分配方法，其特征在于，所述實(shí)時(shí)記錄和分析即將運(yùn)行的作業(yè)應(yīng)用的I/O狀態(tài)信息包括：

接收用戶(hù)通過(guò)腳本提交的作業(yè)應(yīng)用，并寫(xiě)入等待隊(duì)列；

作業(yè)調(diào)度程序?qū)才诺却?duì)列中的各個(gè)作業(yè)應(yīng)用的執(zhí)行順序；

當(dāng)從作業(yè)從等待隊(duì)列中釋放并開(kāi)始運(yùn)行訪(fǎng)問(wèn)突發(fā)數(shù)據(jù)緩存系統(tǒng)時(shí)，開(kāi)始分析作業(yè)應(yīng)用的I/O狀態(tài)信息并實(shí)時(shí)記錄更新在運(yùn)行時(shí)數(shù)據(jù)庫(kù)中。

3.根據(jù)權(quán)利要求1所述的一種面向共享式突發(fā)數(shù)據(jù)緩存的基于競(jìng)爭(zhēng)感知的節(jié)點(diǎn)分配方法，其特征在于，接收用戶(hù)通過(guò)腳本提交的作業(yè)應(yīng)用時(shí)，還接收用戶(hù)提供的作業(yè)應(yīng)用的附加信息，包括：I/O進(jìn)程的數(shù)量以及所需存儲(chǔ)空間大小。

4.根據(jù)權(quán)利要求1所述的一種面向共享式突發(fā)數(shù)據(jù)緩存的基于競(jìng)爭(zhēng)感知的節(jié)點(diǎn)分配方法，其特征在于，所述利用緩存節(jié)點(diǎn)調(diào)度分配算法，根據(jù)當(dāng)前突發(fā)數(shù)據(jù)緩存系統(tǒng)中緩存節(jié)點(diǎn)的負(fù)載量以及即將運(yùn)行的作業(yè)應(yīng)用的I/O狀態(tài)信息，為即將運(yùn)行的作業(yè)應(yīng)用分配相應(yīng)的緩存節(jié)點(diǎn)包括：

分析緩存節(jié)點(diǎn)的I/O帶寬競(jìng)爭(zhēng)情況：每個(gè)進(jìn)程都能夠直接訪(fǎng)問(wèn)每個(gè)緩存節(jié)點(diǎn)，并且能夠通過(guò)互聯(lián)網(wǎng)絡(luò)以最大帶寬bm將數(shù)據(jù)傳輸?shù)酵话l(fā)數(shù)據(jù)緩存系統(tǒng)；如果K個(gè)進(jìn)程同時(shí)訪(fǎng)問(wèn)同一個(gè)緩存節(jié)點(diǎn)時(shí)，K個(gè)進(jìn)程的聚合帶寬K×bm不超過(guò)緩存節(jié)點(diǎn)最大峰值帶寬BM，則認(rèn)為相應(yīng)緩存節(jié)點(diǎn)未發(fā)生I/O帶寬競(jìng)爭(zhēng)情況；否則，認(rèn)為相應(yīng)緩存節(jié)點(diǎn)發(fā)生I/O帶寬競(jìng)爭(zhēng)情況；

根據(jù)上述邏輯，結(jié)合緩存節(jié)點(diǎn)的負(fù)載量選出未發(fā)生I/O帶寬競(jìng)爭(zhēng)情況的緩存節(jié)點(diǎn)，并根據(jù)即將運(yùn)行的作業(yè)應(yīng)用的I/O狀態(tài)信息從未發(fā)生I/O帶寬競(jìng)爭(zhēng)情況的緩存節(jié)點(diǎn)中選出負(fù)載量最小的S個(gè)緩存節(jié)點(diǎn)，按照即將運(yùn)行的作業(yè)應(yīng)用所需存儲(chǔ)空間大小，在S個(gè)緩存節(jié)點(diǎn)上等量劃分。

5.根據(jù)權(quán)利要求4所述的一種面向共享式突發(fā)數(shù)據(jù)緩存的基于競(jìng)爭(zhēng)感知的節(jié)點(diǎn)分配方法，其特征在于，如果所有緩存節(jié)點(diǎn)均發(fā)生I/O帶寬競(jìng)爭(zhēng)情況，則為即將運(yùn)行的作業(yè)應(yīng)用分配具有最低負(fù)載量的緩存節(jié)點(diǎn)；當(dāng)根據(jù)即將運(yùn)行的作業(yè)應(yīng)用的I/O狀態(tài)信息，判定只需要分配一個(gè)緩存節(jié)點(diǎn)時(shí)，如果存在多個(gè)緩存節(jié)點(diǎn)都具有相同的最小負(fù)載量，則從中選擇索引值最小的緩存節(jié)點(diǎn)分配給即將運(yùn)行的作業(yè)應(yīng)用；

當(dāng)根據(jù)即將運(yùn)行的作業(yè)應(yīng)用的I/O狀態(tài)信息，判定作業(yè)應(yīng)用需要分配多個(gè)緩存節(jié)點(diǎn)，則按照需要分配的緩存節(jié)點(diǎn)數(shù)，采用上一段介紹的方式迭代相應(yīng)相應(yīng)次數(shù)，完成緩存節(jié)點(diǎn)分配。