[發(fā)明專(zhuān)利]分布式機(jī)器學(xué)習(xí)任務(wù)的資源管理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011435550.8
• 申請(qǐng)日: 2020-12-10
• 公開(kāi)（公告）號(hào): CN112463389A
• 公開(kāi)（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 羅樹(shù)添;葉可江;須成忠
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50;G06F12/02;G06N20/00
• 代理公司: 深圳市科進(jìn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44316
• 代理人: 魏毅宏

本發(fā)明涉及機(jī)器學(xué)習(xí)任務(wù)領(lǐng)域，具體涉及一種分布式機(jī)器學(xué)習(xí)任務(wù)的資源管理方法及裝置。該方法及裝置為用戶(hù)提交機(jī)器學(xué)習(xí)任務(wù)，該任務(wù)包括兩方面的信息，一是數(shù)據(jù)集大小，二是容器數(shù)量；預(yù)測(cè)模型根據(jù)數(shù)據(jù)集大小和容器數(shù)量計(jì)算內(nèi)存的分配大小，同時(shí)選擇相應(yīng)的緩存模式；根據(jù)緩存模式的選擇把內(nèi)存分配分成兩種情況，當(dāng)內(nèi)存足夠時(shí)，選用最優(yōu)性能模型；當(dāng)內(nèi)存不足時(shí)，選用最優(yōu)資源利用率模型。本發(fā)明主要是分析分布式機(jī)器學(xué)習(xí)的特性以及計(jì)算框架的資源管理情況，根據(jù)這些分析構(gòu)建內(nèi)存預(yù)測(cè)和緩存模式選擇的模型，并不需要額外的應(yīng)用畫(huà)像，直接對(duì)新的機(jī)器學(xué)習(xí)任務(wù)分配內(nèi)存和選擇緩存模式。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)任務(wù)領(lǐng)域，具體而言，涉及一種分布式機(jī)器學(xué)習(xí)任務(wù)的資源管理方法及裝置。

背景技術(shù)

分布式機(jī)器學(xué)習(xí)任務(wù)在運(yùn)行前，用戶(hù)需要預(yù)先分配資源。應(yīng)用在運(yùn)行時(shí)是動(dòng)態(tài)的，資源的使用情況并不是固定的，并且和任務(wù)本身以及處理的數(shù)據(jù)量相關(guān)。除了需要分配內(nèi)存之外，用戶(hù)還需要確定緩存的方式，而且內(nèi)存分配的大小和緩存模式強(qiáng)耦合，同時(shí)對(duì)任務(wù)的性能產(chǎn)生影響。想減輕用戶(hù)對(duì)內(nèi)存的分配和緩存模式的選擇的負(fù)擔(dān)，應(yīng)設(shè)計(jì)分布式機(jī)器學(xué)習(xí)任務(wù)的資源管理系統(tǒng)。

斯坦福大學(xué)計(jì)算機(jī)系Delimitrou Christina等人設(shè)計(jì)的Quasar系統(tǒng)，該系統(tǒng)提前運(yùn)行小數(shù)據(jù)收集運(yùn)行時(shí)的結(jié)果數(shù)據(jù)，根據(jù)結(jié)果數(shù)據(jù)預(yù)測(cè)任務(wù)在滿(mǎn)足性能期望的條件下所需要的資源。但現(xiàn)有技術(shù)的缺點(diǎn)是沒(méi)有考慮不同的緩存模式對(duì)內(nèi)存分配和性能的影響，同時(shí)需要額外運(yùn)行任務(wù)收集結(jié)果數(shù)據(jù)才可以預(yù)測(cè)內(nèi)存使用情況。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種分布式機(jī)器學(xué)習(xí)任務(wù)的資源管理方法及裝置，以至少解決現(xiàn)有資源管理系統(tǒng)沒(méi)有考慮不同的緩存模式對(duì)內(nèi)存分配和性能影響的技術(shù)問(wèn)題。

根據(jù)本發(fā)明的一實(shí)施例，提供了一種分布式機(jī)器學(xué)習(xí)任務(wù)的資源管理方法，包括以下步驟：

用戶(hù)提交機(jī)器學(xué)習(xí)任務(wù)，該任務(wù)包括兩方面的信息，一是數(shù)據(jù)集大小，二是容器數(shù)量；

預(yù)測(cè)模型根據(jù)數(shù)據(jù)集大小和容器數(shù)量計(jì)算內(nèi)存的分配大小，同時(shí)選擇相應(yīng)的緩存模式；

根據(jù)緩存模式的選擇把內(nèi)存分配分成兩種情況，當(dāng)內(nèi)存足夠時(shí)，選用最優(yōu)性能模型；當(dāng)內(nèi)存不足時(shí)，選用最優(yōu)資源利用率模型。

進(jìn)一步地，最優(yōu)性能模型為數(shù)據(jù)緩存和計(jì)算都是用內(nèi)存資源；最優(yōu)資源利用率模型為數(shù)據(jù)緩存用磁盤(pán)資源，計(jì)算使用內(nèi)存資源。

進(jìn)一步地，對(duì)于最優(yōu)性能模型的內(nèi)存分配和緩存模式選擇，方法先是根據(jù)數(shù)據(jù)集大小和容器數(shù)量計(jì)算每個(gè)容器需要緩存數(shù)據(jù)的大小，再根據(jù)計(jì)算分配給緩存的存儲(chǔ)比例推算出所需分配內(nèi)存的大小。

進(jìn)一步地，在方法中預(yù)留一部分給內(nèi)存垃圾回收使用，計(jì)算得到的內(nèi)存大小額外添加垃圾回收使用內(nèi)存。

進(jìn)一步地，機(jī)器學(xué)習(xí)任務(wù)運(yùn)行在Java虛擬機(jī)上，其垃圾回收使用內(nèi)存的大小和總的內(nèi)存成固定的比例關(guān)系，直接通過(guò)計(jì)算得到額外添加的垃圾回收使用內(nèi)存的大小。

進(jìn)一步地，對(duì)于內(nèi)存不足時(shí)，緩存模式的選擇切換成磁盤(pán)緩存，此時(shí)選擇了磁盤(pán)緩存，數(shù)據(jù)全都緩存到磁盤(pán)上，只需要預(yù)留極少的內(nèi)存滿(mǎn)足計(jì)算內(nèi)存需求。

進(jìn)一步地，選擇的機(jī)器學(xué)習(xí)應(yīng)用為三個(gè)，分別是線(xiàn)性回歸、邏輯回歸和支持向量機(jī)三個(gè)算法。

根據(jù)本發(fā)明的另一實(shí)施例，提供了一種分布式機(jī)器學(xué)習(xí)任務(wù)的資源管理裝置，包括：

提交單元，用于用戶(hù)提交機(jī)器學(xué)習(xí)任務(wù)，該任務(wù)包括兩方面的信息，一是數(shù)據(jù)集大小，二是容器數(shù)量；

緩存模式選擇單元，用于預(yù)測(cè)模型根據(jù)數(shù)據(jù)集大小和容器數(shù)量計(jì)算內(nèi)存的分配大小，同時(shí)選擇相應(yīng)的緩存模式；

內(nèi)存分配單元，用于根據(jù)緩存模式的選擇把內(nèi)存分配分成兩種情況，當(dāng)內(nèi)存足夠時(shí)，選用最優(yōu)性能模型；當(dāng)內(nèi)存不足時(shí)，選用最優(yōu)資源利用率模型。