[發(fā)明專利]一種計算深度學(xué)習(xí)模型運行資源的最優(yōu)化方法

在審

• 申請?zhí)枺?/td>: 202011387551.X
• 申請日: 2020-12-02
• 公開（公告）號: CN112380019A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計）人: 張校;方徐偉;張帥;徐小龍;謝巍盛
• 申請（專利權(quán)）人: 天翼電子商務(wù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種計算深度學(xué)習(xí)模型運行資源的最優(yōu)化方法，包括以下步驟：S1.獲取計算平臺的各項資源；S2.獲取模型在計算平臺上運行的約束條件，如神經(jīng)網(wǎng)絡(luò)迭代一次的時間T；S3.獲取深度學(xué)習(xí)模型的計算量F和訪存量M，計算模型的計算強(qiáng)度I，I＝F/M；S4.以成本函數(shù)Cost(x)和資源利用率函數(shù)Util(x)為目標(biāo)函數(shù)，列出模型運行的約束條件；S5.利用Pareto優(yōu)化算法對步驟S4中的多目標(biāo)優(yōu)化問題進(jìn)行求解。本發(fā)明提出了一種計算深度學(xué)習(xí)模型運行資源的最優(yōu)化方法，能夠在滿足計算指標(biāo)的情況下，最優(yōu)化選擇運行資源利用率最高及成本最低的方案。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)領(lǐng)域，特別涉及一種計算深度學(xué)習(xí)模型運行資源的最優(yōu)化方法。

背景技術(shù)

隨著云技術(shù)和AI技術(shù)的不斷發(fā)展，深度學(xué)習(xí)模型在云端訓(xùn)練和部署已經(jīng)成為趨勢。而云服務(wù)提供商會根據(jù)用戶選擇的計算資源(CPU/GPU，內(nèi)存/顯存)進(jìn)行收費。如何根據(jù)模型的不同來動態(tài)計算模型的最優(yōu)化運行資源，是能夠保證模型效果和降低成本的關(guān)鍵。

根據(jù)RooflineModel[1]理論，深度學(xué)習(xí)模型在計算平臺上能夠達(dá)到的每秒浮點運算次數(shù)(FLOPS)，取決于計算平臺的計算強(qiáng)度上限I_max和模型的計算強(qiáng)度I。計算強(qiáng)度上限I_max和模型的計算強(qiáng)度I的計算公式如(1)和(2)：

I_max＝計算平臺能力上限π/計算平臺帶寬β(1)

I＝模型計算量F/訪存量M(2)。

因此，模型在計算平臺的限制下，所能達(dá)到的理論計算能力上限P的計算公式如(3)。而示意圖如圖1所示，

當(dāng)模型的計算強(qiáng)度I小于平臺的計算強(qiáng)度上限I_max時，計算能力上限P等于帶寬β與模型計算強(qiáng)度的上限I的乘積；當(dāng)模型的計算強(qiáng)度I大于平臺的計算強(qiáng)度上限I_max時，計算能力上限P等于平臺計算能力上限π。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是克服現(xiàn)有技術(shù)的缺陷，提供一種計算深度學(xué)習(xí)模型運行資源的最優(yōu)化方法，能夠在滿足計算指標(biāo)的情況下，最優(yōu)化選擇運行資源利用率最高及成本最低的方案。

為了解決上述技術(shù)問題，本發(fā)明提供了如下的技術(shù)方案：

本發(fā)明一種計算深度學(xué)習(xí)模型運行資源的最優(yōu)化方法，包括以下步驟：

S1.獲取計算平臺的各項資源，如CPU/GPU，內(nèi)存/顯存的參數(shù)，如計算能力、帶寬、內(nèi)存/顯存和成本(π₁，β₁，M₁，C₁)，…，(π_i，β_i，M_i，C_i)，…，(π_n，β_n，M_n，C_n)，并計算各項計算資源的計算強(qiáng)度

i為第i項計算資源，0＜i≤n：

S2.獲取模型在計算平臺上運行的約束條件，如神經(jīng)網(wǎng)絡(luò)迭代一次的時間T；

S3.獲取深度學(xué)習(xí)模型的計算量F和訪存量M，計算模型的計算強(qiáng)度I，I＝F/M；

S4.以成本函數(shù)Cost(x)和資源利用率函數(shù)Util(x)為目標(biāo)函數(shù)，列出模型運行的約束條件；

目標(biāo)函數(shù)：

其中，t_i，m_i，為模型在計算平臺第i項資源下的使用時間和所占用的內(nèi)存/顯存和神經(jīng)網(wǎng)絡(luò)運行批樣本數(shù)，0＜i≤n；