[發(fā)明專利]深度學習算子優(yōu)化方法、裝置、設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110221205.2
• 申請日: 2021-02-26
• 公開（公告）號: CN112925644A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設計）人: 李濱
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/08
• 代理公司: 北京博思佳知識產(chǎn)權代理有限公司 11415
• 代理人: 康瑩

1.一種深度學習算子優(yōu)化方法，其特征在于，應用于處理器，所述方法包括：

響應于在圖形處理器的第一層高速內(nèi)存L1 cache中檢測到目標數(shù)據(jù)，調(diào)用讀取Image對象的方法從所述第一層高速內(nèi)存中將所述目標數(shù)據(jù)讀入處理器中，所述目標數(shù)據(jù)包括待輸入至神經(jīng)網(wǎng)絡模型的當前網(wǎng)絡層的數(shù)據(jù)，所述目標數(shù)據(jù)為預先對待量化數(shù)據(jù)進行量化運算后得到的定點數(shù)據(jù)，所述待量化數(shù)據(jù)為所述神經(jīng)網(wǎng)絡模型的初始網(wǎng)絡層的浮點數(shù)據(jù)或所述當前網(wǎng)絡層的前一網(wǎng)絡層輸出的定點數(shù)據(jù)；

在所述處理器中對所述目標數(shù)據(jù)進行二次量化運算，得到運算結(jié)果；

將所述運算結(jié)果寫入所述圖形處理器的主內(nèi)存中。

2.根據(jù)權利要求1所述的方法，其特征在于，所述方法還包括：

響應于在圖形處理器的第一層高速內(nèi)存中未檢測到所述目標數(shù)據(jù)，從所述圖形處理器的主內(nèi)存中將所述目標數(shù)據(jù)讀入所述圖形處理器的第二層高速內(nèi)存L2 cache中；

從所述第二層高速內(nèi)存中將所述目標數(shù)據(jù)讀入所述圖形處理器的第一層高速內(nèi)存中。

3.根據(jù)權利要求1所述的方法，其特征在于，所述定點數(shù)據(jù)的位數(shù)為第一設定位數(shù)，所述第一設定位數(shù)為8位或16位，所述目標數(shù)據(jù)包括所述當前網(wǎng)絡層的權重、偏置值以及所述當前網(wǎng)絡層的前一網(wǎng)絡層的輸出數(shù)據(jù)；

所述在所述處理器中對所述目標數(shù)據(jù)進行二次量化運算，得到運算結(jié)果，包括：

基于所述權重對所述輸出數(shù)據(jù)進行運算，并與所述偏置進行累加，得到累加結(jié)果，所述累加結(jié)果的位數(shù)為第二設定位數(shù)，所述第二設定位數(shù)為32位；

將所述累加結(jié)果進行二次量化運算，得到運算結(jié)果，所述運算結(jié)果的位數(shù)為所述第一設定位數(shù)。

4.根據(jù)權利要求1所述的方法，其特征在于，所述將所述運算結(jié)果寫入所述圖形處理器的主內(nèi)存中，包括：

調(diào)用寫入Image對象的方法將所述運算結(jié)果寫入所述圖形處理器的第二層高速內(nèi)存L2cache中；

從所述第二層高速內(nèi)存中將所述運算結(jié)果寫入所述圖形處理器的主內(nèi)存中。

5.一種深度學習算子優(yōu)化裝置，其特征在于，應用于處理器，所述裝置包括：

目標數(shù)據(jù)讀入模塊，用于響應于在圖形處理器的第一層高速內(nèi)存L1cache中檢測到目標數(shù)據(jù)，調(diào)用讀取Image對象的方法從所述第一層高速內(nèi)存中將所述目標數(shù)據(jù)讀入處理器中，所述目標數(shù)據(jù)包括待輸入至神經(jīng)網(wǎng)絡模型的當前網(wǎng)絡層的數(shù)據(jù)，所述目標數(shù)據(jù)為預先對待量化數(shù)據(jù)進行量化運算后得到的定點數(shù)據(jù)，所述待量化數(shù)據(jù)為所述神經(jīng)網(wǎng)絡模型的初始網(wǎng)絡層的浮點數(shù)據(jù)或所述當前網(wǎng)絡層的前一網(wǎng)絡層輸出的定點數(shù)據(jù)；

運算結(jié)果獲取模塊，用于在所述處理器中對所述目標數(shù)據(jù)進行二次量化運算，得到運算結(jié)果；

運算結(jié)果寫入模塊，用于將所述運算結(jié)果寫入所述圖形處理器的主內(nèi)存中。

6.根據(jù)權利要求5所述的裝置，其特征在于，所述目標數(shù)據(jù)讀入模塊，包括：

第一數(shù)據(jù)讀入單元，用于響應于在圖形處理器的第一層高速內(nèi)存中未檢測到所述目標數(shù)據(jù)，從所述圖形處理器的主內(nèi)存中將所述目標數(shù)據(jù)讀入所述圖形處理器的第二層高速內(nèi)存L2 cache中；

第二數(shù)據(jù)讀入單元，用于從所述第二層高速內(nèi)存中將所述目標數(shù)據(jù)讀入所述圖形處理器的第一層高速內(nèi)存中。

7.根據(jù)權利要求5所述的裝置，其特征在于，所述定點數(shù)據(jù)的位數(shù)為第一設定位數(shù)，所述第一設定位數(shù)為8位或16位，所述目標數(shù)據(jù)包括所述當前網(wǎng)絡層的權重、偏置值以及所述當前網(wǎng)絡層的前一網(wǎng)絡層的輸出數(shù)據(jù)；

所述運算結(jié)果獲取模塊，包括：

累加結(jié)果獲取單元，用于基于所述權重對所述輸出數(shù)據(jù)進行運算，并與所述偏置進行累加，得到累加結(jié)果，所述累加結(jié)果的位數(shù)為第二設定位數(shù)，所述第二設定位數(shù)為32位；

運算結(jié)果獲取單元，用于將所述累加結(jié)果進行二次量化運算，得到運算結(jié)果，所述運算結(jié)果的位數(shù)為所述第一設定位數(shù)。