[發明專利]一種計算深度學習模型運行資源的最優化方法

在審

• 申請號: 202011387551.X
• 申請日: 2020-12-02
• 公開（公告）號: CN112380019A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 張校;方徐偉;張帥;徐小龍;謝巍盛
• 申請（專利權）人: 天翼電子商務有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種計算深度學習模型運行資源的最優化方法，其特征在于，包括以下步驟：

S1.獲取計算平臺的各項資源，如CPU/GPU，內存/顯存的參數，如計算能力、帶寬、內存/顯存和成本(π₁，β₁，M₁，C₁)，…，(π_i，β_i，M_i，C_i)，…，(π_n，β_n，M_n，C_n)，并計算各項計算資源的計算強度

i為第i項計算資源，0＜i≤n：

S2.獲取模型在計算平臺上運行的約束條件，如神經網絡迭代一次的時間T；

S3.獲取深度學習模型的計算量F和訪存量M，計算模型的計算強度I，I＝F/M；

S4.以成本函數Cost(x)和資源利用率函數Util(x)為目標函數，列出模型運行的約束條件；

目標函數：

其中，t_i，m_i，為模型在計算平臺第i項資源下的使用時間和所占用的內存/顯存和神經網絡運行批樣本數，0＜i≤n；

約束條件：

其中，t_i，p_i，I_i，為模型在計算平臺第i項資源下的模型計算能力和模型計算強度，運行批樣本數，而β_i，π_i，為計算平臺第i項資源下的帶寬、計算能力上限以及最大計算強度，T為神經網絡迭代一次的時間，0＜i≤n；

S5.利用Pareto優化算法對步驟S4中的多目標優化問題進行求解，能夠在滿足約束條件下，在解空間中尋找一組最優解來滿足多目標函數，因此通過該算法的計算能夠得到模型運行的成本的最低值C_min以及利用率的最高值U_max以及在該資源下網絡最佳批樣本數N_{batchSize_best}。