[發明專利]深度學習算子優化方法、裝置、設備及存儲介質

在審

• 申請號: 202110221205.2
• 申請日: 2021-02-26
• 公開（公告）號: CN112925644A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 李濱
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 康瑩

本公開是關于一種深度學習算子優化方法、裝置、設備及存儲介質，所述方法包括：響應于在圖形處理器的第一層高速內存L1cache中檢測到目標數據，調用讀取Image對象的方法從所述第一層高速內存中將所述目標數據讀入處理器中；在所述處理器中對所述目標數據進行二次量化運算，得到運算結果；將所述運算結果寫入所述圖形處理器的主內存中。本公開可以實現利用圖形處理器的L1cache的優化加速機制提升讀取目標數據的速度，進而可以提升后續基于讀取的目標數據對神經網絡進行量化的速度，可以提升深度學習框架與內存的交互效率，從而可提高深度學習框架的執行速度，減少終端系統的資源占用，降低終端系統的功耗。

技術領域

本公開涉及人工神經網絡技術領域，尤其涉及一種深度學習算子優化方法、裝置、設備及存儲介質。

背景技術

隨著人工智能技術的迅猛發展，深度學習神經網絡在圖像分類、目標檢測、圖像分割、語音識別以及機器翻譯等模式識別方面取得了巨大的成功。然而，性能較好的神經網絡通常具有規模較大的模型參數，使得其計算復雜度較高，主要體現在空間存儲量和時間計算量兩方面上。因此，對神經網絡進行量化變得尤為重要，尤其是對運行在諸如終端設備或嵌入式芯片上的應用來說。

相關技術中，終端設備上的神經網絡可以采用定點量化運算方式進行加速。例如在終端設備支持OpenCL(Open Computing Language，開放運算語言)的情況下，可以采用OpenCL來實現神經網絡的定點量化運算。相關技術中通常采用Buffer方式進行定點量化運算。然而，現有的采用Buffer方式進行定點量化運算時是從處理器的第二層高速內存(L2cache)加載數據，導致量化速度較慢，會導致推理神經網絡模型的深度學習框架的性能較差，進而會增加終端設備的系統資源占用量以及增加功耗。

發明內容

為克服相關技術中存在的問題，本公開實施例提供一種深度學習算子優化方法、裝置、設備及存儲介質，用以解決相關技術中的缺陷。

根據本公開實施例的第一方面，提供一種深度學習算子優化方法，應用于處理器，所述方法包括：

響應于在圖形處理器的第一層高速內存L1 cache中檢測到目標數據，調用讀取Image對象的方法從所述第一層高速內存中將所述目標數據讀入處理器中，所述目標數據包括待輸入至神經網絡模型的當前網絡層的數據，所述目標數據為預先對待量化數據進行量化運算后得到的定點數據，所述待量化數據為所述神經網絡模型的初始網絡層的浮點數據或所述當前網絡層的前一網絡層輸出的定點數據；

在所述處理器中對所述目標數據進行二次量化運算，得到運算結果；

將所述運算結果寫入所述圖形處理器的主內存中。

在一實施例中，所述方法還包括：

響應于在圖形處理器的第一層高速內存中未檢測到所述目標數據，從所述圖形處理器的主內存中將所述目標數據讀入所述圖形處理器的第二層高速內存L2 cache中；

從所述第二層高速內存中將所述目標數據讀入所述圖形處理器的第一層高速內存中。

在一實施例中，所述定點數據的位數為第一設定位數，所述第一設定位數為8位或16位，所述目標數據包括所述當前網絡層的權重、偏置值以及所述當前網絡層的前一網絡層的輸出數據；

所述在所述處理器中對所述目標數據進行二次量化運算，得到運算結果，包括：

基于所述權重對所述輸出數據進行運算，并與所述偏置進行累加，得到累加結果，所述累加結果的位數為第二設定位數，所述第二設定位數為32位；

將所述累加結果進行二次量化運算，得到運算結果，所述運算結果的位數為所述第一設定位數。

在一實施例中，所述將所述運算結果寫入所述圖形處理器的主內存中，包括：