[發明專利]一種基于時間序列分析的深度學習訓練任務行為預測方法

有效

• 申請號: 202010104955.7
• 申請日: 2020-02-20
• 公開（公告）號: CN111353584B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳鵬飛;廖維明;鄭子彬
• 申請（專利權）人: 中山大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;G06F9/50;G06F11/30
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明公開一種基于時間序列分析的深度學習訓練任務運行行為的預測方法，包括收集GPU利用率和訓練任務信息和任務指標；將GPU利用率視為時間序列樣本，通過傅立葉變換時域為頻域得到振幅?時間的頻譜圖，在頻譜圖上取最大值對應的時間為GPU利用率周期；以GPU利用率周期為SARIMA模型的季節長度S，以GPU利用率為訓練數據，迭代訓練SARIMA模型，依據評估指標選擇最優的SARIMA模型進行時間序列指標的GPU利用率預測；利用GPU利用率周期結合任務指標采用曲線擬合方法預測訓練任務精度的變化趨勢以獲取訓練任務滿意精度時的迭代次數，迭代次數乘以所獲取的訓練任務周期得到訓練任務執行時間預測。本發明細粒度地特征化DNN工作負載并預測了工作負載行為。

技術領域

本發明涉及深度學習領域，尤其涉及一種基于時間序列分析的深度學習訓練任務行為預測方法。

背景技術

雖然現階段已經有很多基準測試程序被設計出來用于評估深度學習模型，但是目前還沒有細致分析GPU上執行的工作負載的運行時特征以及預測深度學習模型行為的研究。

深度學習：深度神經網絡(Deep?Neural?Network，DNN)是一種模擬人腦神經細胞的模型。其包含N層(N2)神經網絡，每層實際上是輸入數據的一種變換。經過多次變換后可以提取一些隱藏在輸入數據背后深層次的特征。這種變換通過神經元的權重以及激活函數來實現。一個DNN模型由很多模型參數(例：權重)以及超參數(例：學習率、批大小)組成。DNN訓練過程即決定模型參數的過程，訓練過程旨在尋找更優的權重來使得損失函數(估量模型的預測值與真實值的不一致程度)達到極小值，調整權重的常見算法如隨機梯度下降(Stochastic?Gradient?Descent，SGD)。為了簡化及加速訓練過程，催生出很多深度學習框架，例如Tensorflow、Pytorch、Caffe。深度學習框架通過高級語言接口簡化DNN的訓練及驗證過程。因為其大大減少了實現DNN模型的復雜度，所以有眾多學者和開發者受益于這些深度學習框架隨著深度學習在諸多領域的成功應用(例如：圖像分類、語音識別)，新興的深度學習模型以及框架也越來越多。其中以深度神經網絡(Deep?Neural?Networks，DNN)為核心的深度學習模型已經被廣泛的研究。并且衍生了許多與DNN相關的經典模型例如，例如卷積神經網絡(Convolutional?Neural?Network，CNN)、遞歸神經網絡(Recurrent?NeuralNetwork，RNN)。同時催生了大數據集以及強力的計算設備來訓練DNN模型以達到令人滿意的準確率。由于現階段CPU的算力尚不能滿足大批量的DNN模型訓練需求，所以開發者通常使用并行程度更高的GPU來加速訓練任務。

GPU的大量使用催生了GPU提供方(比如云資源廠商、數據中心)分析、優化、調度訓練任務的需求，GPU資源有限的情況下，如何最優化分配GPU以獲得更大GPU使用率成為新的研究點。

隨著深度學習在諸多領域的成功應用(例如：圖像分類、語音識別)，新興的深度學習模型以及框架也越來越多。其中以深度神經網絡DNN為核心的深度學習模型已經被廣泛的研究。并且衍生了許多與DNN相關的經典模型例如，例如卷積神經網絡CNN、遞歸神經網絡RNN。為了簡化設計新DNN模型的難度，行業催生了很多深度學習框架包括Tensorflow、PyTorch、Caffe，并且這些深度框架得到了廣泛使用。同時也催生了大數據集以及強力的計算設備來訓練DNN模型以達到令人滿意的準確率。由于現階段CPU的算力尚不能滿足大批量的DNN模型訓練需求，所以開發者通常使用并行程度更高的GPU來加速訓練任務。而為了全面理解并優化DNN模型，相關的基準測試程序(benchmark)工具也必不可少。