[發明專利]提高深度學習模型預測能力的方法、電子設備和存儲介質

有效

• 申請號: 201910379961.0
• 申請日: 2019-05-08
• 公開（公告）號: CN110276096B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 段琳;劉京亮;王國亞
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06N3/08
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;張芳

本申請提供一種提高深度學習模型預測能力的方法、電子設備和存儲介質，包括：向待測試設備發送多組矩陣，以使待測試設備對每組矩陣中的至少兩個矩陣進行矩陣乘運算并輸出運算結果，每組矩陣的維度信息不同，矩陣的維度信息用于指示矩陣乘運算的運算量和數據量；獲取每個運算結果的運算時間；根據每組矩陣中的至少兩個矩陣的維度信息、結果矩陣的維度信息，以及每個運算結果的運算時間，獲取待測試設備的roofline模型；根據待測試設備的roofline模型，對待測試設備進行處理。本申請采用不同維度的矩陣乘運算能夠快速獲取設備的roofline模型，以提高待測試深度學習模型的預測性能。

技術領域

本申請涉及計算機技術領域，尤其涉及一種提高深度學習模型預測能力的方法、電子設備和存儲介質。

背景技術

隨著深度學習的不斷發展，多種多樣的深度學習模型層出不窮。通過不同的硬件設備(如GPU、TPU、CPU或ASIC)對同一個深度學習模型的預測性能(如需要多少次計算才能完成一次前饋)進行驗證時，獲取的深度學習模型的預測性能往往不同。深度學習模型的預測性能與硬件設備的運算性能(運算量/運算時間)和模型的運算強度(運算量/數據量)緊密相關。為了準確的獲取深度學習模型的預測性能，需要根據硬件設備的運算性能和深度學習模型的運算強度對硬件設備進行改善處理。硬件設備的屋頂roofline模型用于表征硬件設備的運算性能和運算強度，因此，獲取硬件設備的roofline模型至關重要。

現有技術中，通過在硬件設備中運算具有不同運算量和數據量的深度學習模型直至該模型輸出結果，來獲取硬件設備的運算強度和運算性能，進而獲取硬件設備的roofline模型(橫坐標為運算強度，縱坐標為運算性能)。

目前，在通過上述方式獲取硬件設備的roofline模型時，為了確保所獲取的roofline模型的準確性，需要選取運算強度分布范圍大的多個深度學習模型，選取過程較為復雜，造成獲取roofline模型的效率低，進而導致設備處理的效率低。

發明內容

本申請提供一種提高深度學習模型預測能力的方法、電子設備和存儲介質，能夠快速獲取設備的roofline模型，以提高待測試深度學習模型的預測性能。

本申請的第一方面提供一種提高深度學習模型預測能力的方法，包括：

向待測試設備發送多組矩陣，以使所述待測試設備對每組所述矩陣中的至少兩個矩陣進行矩陣乘運算并輸出運算結果，所述運算結果為結果矩陣，其中每組所述矩陣具有不同的維度信息，所述維度信息用于指示矩陣乘運算的運算量和數據量，其中每組所述矩陣包括至少兩個矩陣，所述每組矩陣的維度信息包括至少兩個矩陣的維度信息；

獲取所述待測試設備輸出每個所述運算結果的運算時間；

根據每組所述矩陣中的至少兩個矩陣的維度信息、每組所述矩陣對應的結果矩陣的維度信息，以及所述待測試設備獲取每個所述運算結果的運算時間，獲取所述待測試設備的roofline模型；

根據待測試深度學習模型的運算量和數據量，以及所述待測試設備的roofline模型，對所述待測試設備進行處理，以提高所述待測試深度學習模型的預測性能，所述待測試設備用于對所述待測試深度學習模型進行運算。

可選的，每組所述矩陣中包括第一矩陣和第二矩陣，所述第一矩陣的列數和所述第二矩陣的行數相同。

可選的，所述向待測試設備發送多組矩陣之前，還包括：

接收多個維度信息，根據所述多個維度信息生成每個所述維度信息對應的每組所述矩陣。

可選的，每組所述矩陣的維度信息包括：所述第一矩陣的維度信息和第二矩陣的維度信息；所述獲取所述待測試設備的roofline模型，包括：

根據每組所述矩陣中所述第一矩陣的維度信息、所述第二矩陣的維度信息、所述結果矩陣的維度信息，獲取每組所述矩陣對應的矩陣乘的運算量和數據量；