[發明專利]卷積-全連接參數置換與全連接神經元補償的卷積神經網絡設計方法

在審

• 申請號: 201910584313.9
• 申請日: 2019-07-01
• 公開（公告）號: CN110348565A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 楊晨;張靖宇;陳琦;張景越;徐建龍
• 申請（專利權）人: 西安交通大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李紅霖

本發明公開了卷積?全連接參數置換與全連接神經元補償的卷積神經網絡設計方法，針對調整前的卷積神經網絡，在卷積層結構中，增加每層卷積的卷積核大小，減少每層卷積的特征圖通道的大小，以壓縮全連接層結構中第1層全連接層的輸入參數量，增加卷積層結構的參數占比，減少全連接層結構的參數占比；針對調整前的卷積神經網絡，在全連接層結構中，增加全連接層的神經元結點的數目，以提取更多的特征信息分析學習，補償整個卷積神經網絡的精度。

技術領域

本發明屬于卷積神經網絡設計領域，具體涉及卷積-全連接參數置換與全連接神經元補償的卷積神經網絡設計方法。

背景技術

卷積神經網絡近年來在各個研究領域都取得了較為突出的性能，它可以基于大量數據進行特征學習，并且分析這些特征完成分類、回歸和強化決策等任務。因此，卷積神經網絡優點在于能處理大數據，減少分析大數據特征工程的成本；同時，卷積神經網絡解決問題往往省略很多傳統機器學習算法不必要的中間步驟，更甚者能夠實現端到端的輸出，所以處理效率極高，速度較快。但是，卷積神經網絡的計算需要依賴于較為高端的硬件計算平臺。目前，卷積神經網絡主要應用于計算機視覺圖像處理、視頻處理、自然語言處理、強化學習和模式識別等計算密集型算法。此外，在很多高性能計算的領域它也有所涉足，包括結構分析、大數據、云計算和工業工程等。

卷積神經網絡的計算由一定深度階層的卷積層、池化層和全連接層的運算堆疊而成，它可以對海量數據進行統一整理，高效學習，逐層提取數據表征進行學習分析，從而實現監督學習或非監督學習，完成分類或回歸任務。相比于傳統算法或者機器學習算法，它可以自動分析處理海量數據，無需人工預先定義一些特征后再對對象進行處理，處理速度快，處理效率高。當前卷積神經網絡的設計趨勢主要通過調整卷積神經網絡的層數，卷積核大小，特征圖通道大小和卷積計算方式等來支持不同的功能以及硬件實現，同時滿足日益增加的性能需求。主流的卷積神經網絡，例如LeNet-5、AlextNet、VGGNet、GoogLeNet、ResNet、DenselyNet、NasNet等，都是通過更深的層數和更復雜的計算方式來提高精度。因此，卷積神經網絡面臨的挑戰之一是：不斷增加的深度和復雜度，使得卷積神經網絡整體的參數量和計算量急劇增長。參數量過多，計算過于復雜，嚴重降低了損失函數收斂速度和模型的訓練速度；同時，在硬件實施過程中會增加硬件的存儲開銷，例如，一些卷積神經網絡的加速器僅僅存儲參數就需要幾十KB的內存大??；此外，卷積神經網絡在硬件計算系統中實施，參數量過多會嚴重增加硬件訪存的功耗，這種功耗與內存容量和訪問次數有關，存儲數據的物理結構(bit)需要存儲區域，參數量或計算量過大，就需要占用更多的區域，訪存就需要更多的通信成本，如圖1所示，隨著能源效率的提高，訪存區域也在逐漸增大，幾乎是卷積乘加操作的1000倍，近年來訪存和ALU-操作的存儲比例，如圖2所示，持續增長。

發明內容

本發明的目的在于提供卷積-全連接參數置換與全連接神經元補償的卷積神經網絡設計方法，以克服現有卷積神經網絡存在的不足，本發明使得輕量化卷積神經網絡在硬件實施過程中，保證高能量效率的同時，降低訪存功耗和片上存儲的開銷。

為達到上述目的，本發明采用如下技術方案：

卷積-全連接參數置換與全連接神經元補償的卷積神經網絡設計方法，所述卷積神經網絡包括卷積層結構和全連接層結構，卷積神經網絡的設計方法具體包括以下步驟：

步驟1：卷積-全連接參數置換

針對調整前的卷積神經網絡，在卷積層結構中，增加每層卷積的卷積核大小，減少每層卷積的特征圖通道的大小，以壓縮全連接層結構中第1層全連接層的輸入參數量，增加卷積層結構的參數占比，減少全連接層結構的參數占比；

步驟2：全連接層神經元補償

針對調整前的卷積神經網絡，在全連接層結構中，增加每層全連接層的神經元結點的數目，以提取更多的特征信息分析學習，補償整個卷積神經網絡的精度。