[發(fā)明專利]一種基于內(nèi)存獨(dú)占的作業(yè)調(diào)度方法

無效

• 申請?zhí)枺?/td>: 201110397361.0
• 申請日: 2011-12-02
• 公開（公告）號(hào): CN102521029A
• 公開（公告）日: 2012-06-27
• 發(fā)明（設(shè)計(jì)）人: 張濤;李媛;梁曉湛;溫鑫;趙歡;孫國忠;邵宗有
• 申請（專利權(quán)）人: 曙光信息產(chǎn)業(yè)（北京）有限公司
• 主分類號(hào): G06F9/46
• 分類號(hào): G06F9/46
• 代理公司: 北京安博達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國文

技術(shù)領(lǐng)域

本發(fā)明涉及高性能計(jì)算中的作業(yè)調(diào)度，特別涉及一種基于內(nèi)存獨(dú)占的作業(yè)調(diào)度方法。

背景技術(shù)

在高性能計(jì)算領(lǐng)域，通常應(yīng)用大型應(yīng)用軟件對于內(nèi)存的消耗量非常大，很容易出現(xiàn)部分節(jié)點(diǎn)內(nèi)存耗盡、節(jié)點(diǎn)宕機(jī)的情況。這種情況的出現(xiàn)會(huì)嚴(yán)重影響大型集群的可用性。出現(xiàn)這一問題的原因在于，市場上的多數(shù)調(diào)度系統(tǒng)對于內(nèi)存的管理不是很完善，通常的做法是統(tǒng)計(jì)作業(yè)的實(shí)際使用量，當(dāng)超過限額時(shí)殺死作業(yè)。這種方法可以解決部分某些場景，但是不能根本解決這一問題。因?yàn)樯鲜龇椒ㄊ菑淖鳂I(yè)的角度檢查內(nèi)存，而作業(yè)內(nèi)存超限和節(jié)點(diǎn)內(nèi)存超限是兩個(gè)不同的問題，即如果作業(yè)內(nèi)存超限并不一定導(dǎo)致節(jié)點(diǎn)內(nèi)存超限，而節(jié)點(diǎn)內(nèi)存超限也不一定是因?yàn)槠溥\(yùn)行的作業(yè)有內(nèi)存超限的問題。最根本的解決辦法是從節(jié)點(diǎn)操作系統(tǒng)的角度調(diào)度作業(yè)來解決節(jié)點(diǎn)內(nèi)存耗盡的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是通過作業(yè)的內(nèi)存預(yù)測參數(shù)(以及進(jìn)程內(nèi)存預(yù)測參數(shù))和節(jié)點(diǎn)內(nèi)存配置信息來調(diào)度作業(yè)。該方法可以相對準(zhǔn)確的預(yù)測內(nèi)存的使用情況，從而根據(jù)這一信息解決作業(yè)調(diào)度問題，達(dá)到控制節(jié)點(diǎn)內(nèi)存消耗的目的。

一種基于內(nèi)存獨(dú)占的作業(yè)調(diào)度方法，所述方法包括如下步驟：

S1，在每次作業(yè)調(diào)度運(yùn)行時(shí)獲取每個(gè)節(jié)點(diǎn)的可用內(nèi)存量；

S2，在作業(yè)提交時(shí)對該作業(yè)需要占用的內(nèi)存量進(jìn)行預(yù)測；

S3，根據(jù)作業(yè)提交的參數(shù)中指定的進(jìn)程數(shù)，將預(yù)測的內(nèi)存量平均分配到每個(gè)進(jìn)程中；

S4，作業(yè)等待調(diào)度和運(yùn)行，調(diào)度時(shí)檢查各個(gè)節(jié)點(diǎn)的可用內(nèi)存量，并以此作為該節(jié)點(diǎn)能否運(yùn)行作業(yè)的依據(jù)；

S5，作業(yè)調(diào)度成功后，根據(jù)S2和S3中獲得的信息，計(jì)算該作業(yè)在各個(gè)節(jié)點(diǎn)上占用的內(nèi)存量；

S6，根據(jù)S5中的信息更新節(jié)點(diǎn)的內(nèi)存可用量；

S7，根據(jù)設(shè)定的時(shí)間間隔，重復(fù)S2到S7。

優(yōu)選的，所述預(yù)測是根據(jù)該類作業(yè)之前的歷史統(tǒng)計(jì)值的最大值做出或根據(jù)作業(yè)的申請做出。

優(yōu)選的，所述進(jìn)程在節(jié)點(diǎn)上運(yùn)行時(shí)，如果內(nèi)存不夠，則繼續(xù)向該節(jié)點(diǎn)申請。

優(yōu)選的，所述節(jié)點(diǎn)內(nèi)存如果不夠，則將該節(jié)點(diǎn)運(yùn)行的進(jìn)程轉(zhuǎn)移到其他節(jié)點(diǎn)，或暫停該進(jìn)程，等待其他作業(yè)的資源釋放。

優(yōu)選的，所述進(jìn)程在完成后釋放占用的內(nèi)存。

本發(fā)明的優(yōu)點(diǎn)在于：綜合作業(yè)的資源請求和節(jié)點(diǎn)的內(nèi)存信息來調(diào)度作業(yè)，而不是僅根據(jù)作業(yè)的信息來預(yù)防節(jié)點(diǎn)內(nèi)存耗盡問題，達(dá)到控制節(jié)點(diǎn)內(nèi)存消耗的目的。

附圖說明

具體實(shí)施方式

本發(fā)明通過作業(yè)的內(nèi)存預(yù)測參數(shù)(以及進(jìn)程內(nèi)存預(yù)測參數(shù))和節(jié)點(diǎn)內(nèi)存配置信息來調(diào)度作業(yè)。

(1)首先，在作業(yè)調(diào)度運(yùn)行時(shí)獲取節(jié)點(diǎn)的總的可用內(nèi)存；

(2)其次，在作業(yè)提交時(shí)預(yù)測該作業(yè)需要占用的內(nèi)存量；預(yù)測可以根據(jù)之前該類作業(yè)的內(nèi)存申請量的最大值或在作業(yè)中申請的內(nèi)存量；

(3)再次，根據(jù)作業(yè)提交參數(shù)中指定的進(jìn)程數(shù)，平均分配預(yù)測的內(nèi)存到每個(gè)進(jìn)程中；

(4)然后，等待作業(yè)調(diào)度調(diào)度和運(yùn)行作業(yè)。調(diào)度時(shí)檢查各節(jié)點(diǎn)的剩余可用內(nèi)存量，并以此作為該節(jié)點(diǎn)能否運(yùn)行作業(yè)的依據(jù)；

(5)一旦作業(yè)成功調(diào)度，根據(jù)步驟(2)、(3)中獲取的信息，計(jì)算該作業(yè)在各個(gè)節(jié)點(diǎn)上占用的內(nèi)存量；當(dāng)進(jìn)程需要的內(nèi)存節(jié)點(diǎn)不滿足時(shí)，可以將該進(jìn)程轉(zhuǎn)移到其他節(jié)點(diǎn)或等待其他作業(yè)釋放內(nèi)存；進(jìn)程工作完成后釋放內(nèi)存；

(6)根據(jù)(5)中的信息更新節(jié)點(diǎn)的內(nèi)存可用量；

(7)根據(jù)設(shè)定的時(shí)間間隔不斷重復(fù)步驟(2)到(7)。