[發(fā)明專利]一種深度學習基準測試優(yōu)化方向的選擇方法及裝置

在審

• 申請?zhí)枺?/td>: 202010694596.5
• 申請日: 2020-07-17
• 公開（公告）號: CN111967606A
• 公開（公告）日: 2020-11-20
• 發(fā)明（設計）人: 趙漣水;吳韶華
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06Q10/04;G06F11/36
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 劉雪萍

1.一種深度學習基準測試優(yōu)化方向的選擇方法，深度學習過程包含多個計算環(huán)節(jié)，其特征在于，該方法包括以下步驟：

計算各個計算環(huán)節(jié)的優(yōu)化效益；所述優(yōu)化效益與計算環(huán)節(jié)的運行時長呈正相關，同時也與計算環(huán)節(jié)優(yōu)化后所能獲得的改善程度呈正相關；

根據(jù)計算結(jié)果，選取優(yōu)化效果大于預設值的計算環(huán)節(jié)作為優(yōu)化對象。

2.根據(jù)權(quán)利要求1所述的深度學習基準測試優(yōu)化方向的選擇方法，

其特征在于，所述計算各個計算環(huán)節(jié)的優(yōu)化效益，具體包括：

獲取各個計算環(huán)節(jié)的性能參數(shù)；所述性能參數(shù)包括運行時間、執(zhí)行的性能因子數(shù)量和流經(jīng)寄存器的數(shù)據(jù)量；

根據(jù)各個計算環(huán)節(jié)執(zhí)行的性能因子數(shù)量和流經(jīng)寄存器的數(shù)據(jù)量，計算各個計算環(huán)節(jié)的性能強度；

采用屋頂線模型，根據(jù)各個計算環(huán)節(jié)的性能強度確定各個計算環(huán)節(jié)的最大性能；

基于各個計算環(huán)節(jié)的性能參數(shù)和最大性能，計算各個計算環(huán)節(jié)的優(yōu)化效益。

3.根據(jù)權(quán)利要求2所述的深度學習基準測試優(yōu)化方向的選擇方法，其特征在于，計算環(huán)節(jié)的性能強度＝執(zhí)行的性能因子數(shù)量/流經(jīng)寄存器的數(shù)據(jù)量。

4.根據(jù)權(quán)利要求3所述的深度學習基準測試優(yōu)化方向的選擇方法，其特征在于，記優(yōu)化效益為η_save，則

其中，

η_{save_i}是第i個計算環(huán)節(jié)的優(yōu)化效益，T_{exp_i}是第i計算環(huán)節(jié)的運行時間，T_total是深度學習未優(yōu)化時整個流程的運行時間，P_{gap_i}為第i個計算環(huán)節(jié)可提升的性能，P_{roofline_i}是第i個計算環(huán)節(jié)的最大性能；其中P_{gap_i}＝P_{roofline_i}-P_{exp_i}，

5.根據(jù)權(quán)利要求2、3或4所述的深度學習基準測試優(yōu)化方向的選擇方法，其特征在于，執(zhí)行的性能因子數(shù)量是指執(zhí)行的指令數(shù)。

6.一種深度學習基準測試優(yōu)化方向的選擇裝置，深度學習過程包含多個計算環(huán)節(jié)，其特征在于，該裝置包括，

優(yōu)化效益計算模塊：計算各個計算環(huán)節(jié)的優(yōu)化效益；所述優(yōu)化效益與計算環(huán)節(jié)的運行時長及計算環(huán)節(jié)優(yōu)化后所能獲得的改善程度有關；

計算環(huán)節(jié)選取模塊：根據(jù)計算結(jié)果，選取優(yōu)化效果大于預設值的計算環(huán)節(jié)作為優(yōu)化對象。

7.根據(jù)權(quán)利要求6所述的深度學習基準測試優(yōu)化方向的選擇裝置，其特征在于，優(yōu)化效益計算模塊包括，

參數(shù)獲取單元：獲取各個計算環(huán)節(jié)的性能參數(shù)；所述性能參數(shù)包括運行時間、執(zhí)行的性能因子數(shù)量和流經(jīng)寄存器的數(shù)據(jù)量；

性能強度計算單元：根據(jù)各個計算環(huán)節(jié)執(zhí)行的性能因子數(shù)量和流經(jīng)寄存器的數(shù)據(jù)量，計算各個計算環(huán)節(jié)的性能強度；

最大性能確定單元：采用屋頂線模型，根據(jù)各個計算環(huán)節(jié)的性能強度確定各個計算環(huán)節(jié)的最大性能；

優(yōu)化效益計算執(zhí)行單元：基于各個計算環(huán)節(jié)的性能參數(shù)和最大性能，計算各個計算環(huán)節(jié)的優(yōu)化效益。

8.根據(jù)權(quán)利要求7所述的深度學習基準測試優(yōu)化方向的選擇裝置，其特征在于，計算環(huán)節(jié)的性能強度＝執(zhí)行的性能因子數(shù)量/流經(jīng)寄存器的數(shù)據(jù)量。

9.根據(jù)權(quán)利要求8所述的深度學習基準測試優(yōu)化方向的選擇裝置，其特征在于，記優(yōu)化效益為η_save，則

其中，

η_{save_i}是第i個計算環(huán)節(jié)的優(yōu)化效益，T_{exp_i}是第i計算環(huán)節(jié)的運行時間，T_total是深度學習整個流程的運行時間，P_{gap_i}為第i個計算環(huán)節(jié)可提升的性能，P_{roofline_i}是第i個計算環(huán)節(jié)的最大性能；

其中P_{gap_i}＝P_{roofline_i}-P_{exp_i}，

10.根據(jù)權(quán)利要求7、8或9所述的深度學習基準測試優(yōu)化方向的選擇裝置，其特征在于，執(zhí)行的性能因子數(shù)量是指執(zhí)行的指令數(shù)。