[發明專利]一種提高GEMM計算性能的方法及裝置

有效

• 申請號: 201710795580.1
• 申請日: 2017-09-06
• 公開（公告）號: CN109460533B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 齊霽;張邵敏;賈海鵬
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06N3/04
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種提高GEMM計算性能的方法，其特征在于，包括：

獲取待優化的通用矩陣-矩陣乘GEMM計算的參數，所述GEMM計算為第一矩陣乘以第二矩陣的計算，所述GEMM計算的參數基于矩陣參數確定，所述矩陣參數包括矩陣規模參數和/或矩陣形狀參數集，所述矩陣規模參數為所述第一矩陣的行數、所述第一矩陣的列數和所述第二矩陣的列數的最大公約數，所述矩陣形狀參數集中包括:第一參數、第二參數和第三參數，所述第一參數為所述第一矩陣的行數與第一數值的比值，所述第二參數為所述第一矩陣的列數與所述第一數值的比值，所述第三參數為所述第二矩陣的列數與所述第一數值的比值，所述第一數值為所述矩陣規模參數；

從參考的GEMM計算的參數中查詢目標參數，所述參考的GEMM計算包括至少一個歷史的GEMM計算，所述目標參數為與所述待優化的GEMM計算的參數滿足預設關系的參數；

依據所述目標參數與優化方法的預設對應關系，確定所述目標參數對應的優化方法；

使用所述目標參數對應的優化方法，優化所述待優化的GEMM計算。

2.根據權利要求1所述的方法，其特征在于，所述從參考的GEMM計算的參數中查詢目標參數包括：

從預設的優化方法知識庫中查詢所述目標參數，所述優化方法知識庫中包括樣本參數與樣本優化方法的對應關系，所述樣本參數為所述參考的GEMM計算的參數，所述目標參數為與所述待優化的GEMM計算的參數滿足所述預設關系的樣本參數，所述樣本優化方法為所述參考的GEMM計算使用的優化方法，從同一個參考的GEMM計算提取的樣本參數與樣本優化方法相對應；

所述依據所述目標參數與優化方法的預設對應關系，確定所述目標參數對應的優化方法包括：

從所述優化方法知識庫中，確定與所述目標參數對應的樣本優化方法。

3.根據權利要求2所述的方法，其特征在于，在所述從參考的GEMM計算的參數中，查詢目標參數之前，還包括：

依據所述參考的GEMM計算，提取所述樣本參數以及所述樣本優化方法；

建立從同一個參考的GEMM計算中提取的樣本參數與樣本優化方法之間的對應關系，建立的對應關系構成所述優化方法知識庫。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述GEMM計算的參數為所述矩陣參數；

或者，所述GEMM計算的參數為索引值，所述索引值為目標數據在預設的數據序列中的位置序號，所述目標數據為所述數據序列中，與所述矩陣參數的差值最小的數據。

5.根據權利要求1所述的方法，其特征在于，所述使用所述目標參數對應的優化方法，優化所述待優化的GEMM計算包括：

從預設的代碼庫中，查詢目標子代碼，所述目標子代碼在所述代碼庫中與目標子算法對應，所述目標子算法通過劃分與所述目標參數對應的優化方法得到，所述目標子代碼用于實現所述目標子算法；

將參與所述待優化的GEMM計算的矩陣以及所述目標子代碼代入所述GEMM計算的預設代碼框架中，以生成目標代碼；

運行所述目標代碼。

6.根據權利要求5所述的方法，其特征在于，在所述使用所述目標參數對應的優化方法，優化所述待優化的GEMM計算之前，還包括：

將所述參考的GEMM計算使用的優化方法劃分為預設類型的子算法；

依據專家經驗，生成子代碼，所述子代碼用于實現所述子算法；

建立所述子代碼與所述子算法之間的對應關系，所述對應關系構成所述代碼庫，其中，用于實現任意一個子算法的子代碼與該子算法相對應。

7.根據權利要求1所述的方法，其特征在于，所述矩陣參數還包括：

所述GEMM計算運行的硬件平臺的類型。

8.根據權利要求1所述的方法，其特征在于，所述預設關系包括：

相同；

或者，包括數據值相同的預先指定的參數。