[發明專利]卷積神經網絡的優化方法、裝置、存儲介質和系統

在審

• 申請號: 201811640762.2
• 申請日: 2018-12-29
• 公開（公告）號: CN109726801A
• 公開（公告）日: 2019-05-07
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京中科寒武紀科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京華進京聯知識產權代理有限公司 11606
• 代理人: 孫巖

本申請涉及一種卷積神經網絡優化方法、裝置、存儲介質和系統。所述方法包括：將冗余神經網絡層的卷積計算融合到卷積層中，并刪除多余的神經網絡層。采用本方法能夠使優化后的網絡網絡性能大幅度提升。

技術領域

本申請涉及人工智能技術領域，特別是涉及一種卷積神經網絡的優化方法、裝置、存儲介質和系統。

背景技術

卷積神經網絡(Convolutional Neural Networks,CNN)是一類包含卷積計算且具有深度結構的多層神經網絡，是深度學習的代表算法之一，擅長處理圖像特別是大圖像的相關機器學習問題。隨著數字電子技術的不斷發展，各類人工智能(ArtificialIntelligence，AI)芯片的快速發展對于神經網絡處理器的要求也越來越高。卷積神經網絡算法作為智能芯片廣泛應用的算法之一，運行于神經網絡處理器中。

然而，傳統的卷積神經網絡結構中存在大量連續的Convolution，Batch Norm，Scale層結構，在進行前向傳播時，Batch Norm層和Scale層的構建和執行消耗了大量計算資源，并且在執行卷積計算過程中并沒有起到太大作用，反而讓網絡結構重復、復雜。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠優化卷積神經網絡結構的的卷積神經網絡優化方法、裝置、存儲介質和系統。

一種卷積神經網絡優化方法，所述方法包括：

獲取第一配置參數及第二配置參數，其中，所述第一配置參數包括Batch Norm層的第一訓練參數及Batch Norm層的第二訓練參數；所述第二配置參數包括Scale層的第一訓練參數及Scale層的第二訓練參數；

將所述Batch Norm層的第一訓練參數以及所述Scale層的第一訓練參數與卷積層的權值參數融合，得到第一融合結果；

將所述Batch Norm層的第二訓練參數以及所述Scale層的第二訓練參數與卷積層的偏置參數融合，得到第二融合結果；

根據所述第一融合結果以及所述第二融合結果，對所述卷積神經網絡進行優化。

在其中一個實施例中，所述將所述Batch Norm層的第一訓練參數以及所述 Scale層的第一訓練參數與卷積層的權值參數融合，得到第一融合結果，包括：

將所述Batch Norm層的第一訓練參數、所述Scale層的第一訓練參數以及所述卷積層的權值參數進行乘法運算，得到所述第一融合結果。

在其中一個實施例中，所述將所述Batch Norm層的第二訓練參數以及所述 Scale層的第二訓練參數與卷積層的偏置參數融合，得到第二融合結果，包括：

將所述Batch Norm層的第二訓練參數、所述Scale層的第二訓練參數以及所述卷積層的偏置參數進行加法運算，得到所述第二融合結果。

在其中一個實施例中，所述根據所述第一融合結果以及所述第二融合結果，對所述卷積神經網絡進行優化，包括：

刪除所述Batch Norm層以及所述Scale層，并將所述卷積層的權值參數更改為所述第一融合結果，將所述卷積層的偏置參數更改為所述第二融合結果。

在其中一個實施例中，所述將卷積層的輸入數據分別與所述第一融合結果和所述第二融合結果進行卷積計算，得到卷積層的輸出結果，包括：

將所述輸入數據與所述第一融合結果進行乘法運算，得到第一運算結果；

將所述第一運算結果與所述第二融合結果進行加法運算，得到所述輸出結果。