[發明專利]一種基于CUDA性能計數器的GPU能耗預測方法及系統

有效

• 申請號: 202211601716.8
• 申請日: 2022-12-14
• 公開（公告）號: CN115599195B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 鄒昊東;牧軍;楊文清;劉輝;張銀鐵;宋文;張明明;劉梅招;李萌;陳欣;肖茂然;湯銘;豐佳;黃鵬;張立志
• 申請（專利權）人: 國網江蘇省電力有限公司信息通信分公司;國網電力科學研究院有限公司
• 主分類號: G06F1/3234
• 分類號: G06F1/3234;G06F9/50;G06N3/08;G06F18/2431
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王恒靜

1.一種基于CUDA性能計數器的GPU能耗預測方法，其特征在于，該方法包括：

獲取GPU中多個基準應用程序對應的特征數據，預處理后，得到功率模型數據集和時間模型數據集；所述功率模型數據集包括：所述基準應用程序中的CUDA內核名稱、GPU頻率組合及其對應的性能計數器值的組合和標注的CUDA內核的功率；所述時間模型數據集包括：所述基準應用程序中的CUDA內核名稱、GPU頻率組合及其對應的性能計數器值的組合和標注的CUDA內核的執行時間；

構建功率網絡模型和時間網絡模型，將所述功率模型數據集輸入到所述功率網絡模型中，將所述時間模型數據集輸入到所述時間網絡模型中，分別迭代訓練后，得到訓練后的功率網絡模型和時間網絡模型；

獲得目標應用程序的所有CUDA內核，并根據所述目標應用程序的每個CUDA內核的名稱得到所述目標應用程序的每個CUDA內核對應的性能計數器值的組合和GPU頻率組合，將所述目標應用程序的每個CUDA內核對應的性能計數器值的組合和GPU頻率組合分別輸入到訓練后的功率網絡模型和時間網絡模型中，分別得到所述目標應用程序的每個CUDA內核的功率和執行時間，進而得到所述目標應用程序的每個CUDA內核的能耗；

根據所述目標應用程序的各個CUDA內核的能耗得到所述目標應用程序的能耗，進而得到GPU的能耗；

其中，所述GPU頻率組合為對應的CUDA內核執行時間內GPU的核心頻率和內存頻率的集合，所述GPU支持的性能計數器組合為對應的CUDA內核執行時間內GPU支持的性能計數器的集合。

2.根據權利要求1所述的基于CUDA性能計數器的GPU能耗預測方法，其特征在于，還包括采用均方根誤差衡量所述功率網絡模型和所述時間網絡模型的誤差率，以對所述功率網絡模型和所述時間網絡模型進行優化。

3.根據權利要求1或2所述的基于CUDA性能計數器的GPU能耗預測方法，其特征在于，所述GPU的能耗表示為：

，其中，表示第i個目標應用程序的能耗，表示GPU空閑時間的能耗，N為GPU上執行的目標應用程序的總數；

，其中，表示第i個目標應用程序的第j個CUDA內核的能耗，M為第i個目標應用程序中CUDA內核的總數；

，其中，為第i個目標應用程序的第j個CUDA內核的功率，為第i個目標應用程序的第j個CUDA內核的執行時間。

4.根據權利要求1所述的基于CUDA性能計數器的GPU能耗預測方法，其特征在于，所述基準應用程序對應的每個CUDA內核的功率分別為所述基準應用程序對應的每個CUDA內核執行時間內GPU的總功率減去靜態功率，所述靜態功率為GPU沒有任何工作消耗時的功率。

5.根據權利要求4所述的基于CUDA性能計數器的GPU能耗預測方法，其特征在于，在訓練階段中，所述基準應用程序對應的每個CUDA內核執行時間內GPU的總功率通過多個有效瞬時功率的平均值計算得到，所述瞬時功率通過在對應的CUDA內核執行時間內插入U個功率測量探針探測得到，每個功率測量探針探測一個瞬時功率。

6.根據權利要求3所述的基于CUDA性能計數器的GPU能耗預測方法，其特征在于，所述空閑時間的能耗，其中，為每段空閑時間的長度，L為空閑時間的總段數，且，為當前目標應用程序開始的時間，為上一個目標應用程序結束的時間，為GPU的靜態功率。