[發明專利]深度學習模型的加速方法及裝置

在審

• 申請號: 202010745500.3
• 申請日: 2020-07-29
• 公開（公告）號: CN112101515A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 付家為;陳東;張放;李曉飛;張德兆;王肖;霍舒豪
• 申請（專利權）人: 北京智行者科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京慧誠智道知識產權代理事務所(特殊普通合伙) 11539
• 代理人: 李楠

本發明提供了一種深度學習模型的加速方法，包括：獲取模型中的每個卷積層中的多個通道中每個通道的貢獻值；根據全部卷積層中各通道的貢獻值，對模型中的卷積層中的通道進行裁剪，得到裁剪后的模型；對模型和裁剪后的模型分別進行訓練；對訓練后的模型和裁剪后訓練的模型分別進行評估，得到第一評估值和第二評估值；根據第一評估值和第二評估值，確定是否將裁剪后訓練的模型作為新模型輸出。由此，在推理精度不損失或者損失非常小的情況下，實現推理速度的大大提升。

技術領域

本發明涉及數據處理領域，尤其涉及一種深度學習模型的加速方法及裝置。

背景技術

深度學習算法在當今已經在越來越多的領域得到了應用，在使用深度學習算法時，人們往往最關心的就是算法的準確度和運行速度。在很多應用領域，通常要求深度學習算法實時性或快速性，而受限于硬件平臺，尤其是嵌入式平臺，深度學習算法推理速度往往不能滿足速度需求，這便需要采取一些方法對深度學習算法進行加速。對深度學習算法進行加速又通常伴隨著推理精度的損失，因此，找到合適的加速方法并使推理精度的損失控制在最小，在深度學習算法的應用上至關重要。

目前，人們為了提高深度學習算法的運行速度，采取了多方面的措施。目前主要通過以下幾個方面，對深度學習算法進行加速：1.卷積運算算法加速；2.網絡權重量化；3.網絡結構優化等。

卷積運算算法加速，一種方案是針對特定平臺硬件特點進行運算加速，這種方案具有平臺局限性，通用性不是很強，例如通過利用顯卡廠商英偉達(Nvidia)的統一計算設備架構(Compute Unified Device Architecture，CUDA)運算平臺和Nvidia的深度神經網絡庫(NVIDIA CUDA Deep Neural Network library，CUDNN)進行加速，只能在Nvidia系列平臺上使用，且加速算法已經幾乎做到最優，想進一步加速優化較為困難。第二種方案是對卷積操作本身運算上做加速，例如用快速傅氏變換(fast Fourier transform，FFT)實現卷積操作，這種方案的通用性依然不是很好，由于FFT對卷積核較大的卷積操作加速更為明顯，而現有卷積神經網絡(Convolutional Neural Networks,CNN)更多的采用的是小卷積核甚至1*1卷積核，FFT加速效果并不明顯。

網絡權重量化，對網絡權重進行二值化或者降低權重浮點精度，從而降低卷積操作運算量，這種方案往往伴隨著較大的精度損失。

網絡結構優化，又有許多不同方向的方法，一種是降低網絡深度，使用更淺層的網絡，減少運算量，該方法通常使推理精度損失較大；第二種是網絡連接稀疏化，例如采用剪枝量化等方法實現模型壓縮，但壓縮后基于稀疏矩陣的卷積操作的平臺通用性并不理想，在特定平臺的加速效果不理想；第三種方法是張量分解，將張量分解成多個小張量，但是輸出的通道數并沒有變化，因此對于1*1的卷積層很難通過張量分解的方法做壓縮，而當前很多模型結構都用到了大量的1*1卷積，例如殘差神經網絡(Residual Neural Network)ResNet，更深的卷積(Going deeper with convolutions，GoogleNet)，Xception等。

發明內容

本發明實施例的目的是提供一種深度學習模型的加速方法及裝置，以解決現有技術中的精度損失大、在特定平臺的加速效果不理想的問題。

第一方面，本發明提供了一種深度學習模型的加速方法，所述方法包括：

獲取模型中的每個卷積層中的多個通道中每個通道的貢獻值；

根據全部卷積層中各通道的貢獻值，對所述模型中的卷積層中的通道進行裁剪，得到裁剪后的模型；

對所述模型和裁剪后的所述模型分別進行訓練；

對訓練后的所述模型和裁剪后訓練的模型分別進行評估，得到第一評估值和第二評估值；