[發明專利]一種面向FPGA部署的輕量神經網絡設計和量化方法

在審

• 申請號: 202310279768.6
• 申請日: 2023-03-21
• 公開（公告）號: CN116362317A
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 韓露露;明曉鈺;葉劍波;崔珂;李翔宇
• 申請（專利權）人: 南京理工大學
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/084;G06N3/0464;G06F15/78
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 陳鵬

1.一種面向FPGA部署的輕量神經網絡設計和量化方法，其特征在于，包括以下步驟：

步驟S1、以ShuffleNet?v2為基礎，對網絡進行優化設計，獲得基準網絡；

步驟S2、對基準網絡結構調整，優化算法和損失函數，進行訓練獲得全精度模型M₀；

步驟S3、根據測試集準確率判斷M₀是否達到要求，若滿足則進入步驟S4；不滿足則更改網絡結構，修改優化函數、學習率和損失函數這些參數的數值，并轉至步驟S2重新訓練；

步驟S4、按照基準網絡結構，面向硬件量化部署進行基準量化方法設計；

步驟S5、在全精度模型M₀的基礎上，使用基準量化方法量化訓練得到量化模型M₁；

步驟S6、在量化模型M_i-1的基礎上，使用基準量化方法量化訓練得到量化模型M_i，其中i1；

步驟S7、計算M_i在測試集上的準確率比M₀減少了多少，即量化帶來的準確率損失，若該值小于設定的閾值，則進入步驟S8；否則轉至步驟S繼續量化訓練；

步驟S8、得到量化模型Mi，用于后續FPGA硬件部署。

2.根據權利要求1所述的面向FPGA部署的輕量神經網絡設計和量化方法，其特征在于，步驟S1中，以ShuffleNet?v2為基礎，對網絡進行優化設計，獲得基準網絡，具體如下：

S11、使用分解的方法，將所有的3x3Conv層分解成1x1Conv層和3x3DWConv層，步長全部設置為1；

S12、將所有步長為1的3x3DWConv層替換成步長為1的3x3Shift層，將所有步長為2的3x3DWConv分解成步長為1的3x3Shift層和步長為2的最大池化層；

S13、移動最大池化層的位置，將1x1Conv層-3x3Shift層-最大池化層順序變為1x1Conv層-最大池化層-3x3Shift層；

S14、將輸入圖像分辨率大小從224x224變成256x256，除了block結構中的1x1Conv層外，其他的1x1Conv層輸出通道數設置為輸入通道數的2倍，所有的最大池化層的池化核大小設置為2x2，步長為2；

S15、刪除網絡中下采樣block左分支上的3x3Shift層，僅保留最大池化層和1x1Conv層；

S16、去除網絡中的批歸一化層，刪除所有卷積層和全連接層偏置。

3.根據權利要求2所述的所述的面向FPGA部署的輕量神經網絡設計和量化方法，其特征在于，步驟S12中，將所有步長為1的3x3DWConv層替換成步長為1的3x3Shift層，將所有步長為2的3x3DWConv分解成步長為1的3x3Shift層和步長為2的最大池化層，3x3Shift層的具體計算如下：

令輸入特征圖為D_F表示輸入特征圖的高度和寬度，M表示通道尺寸，則3x3Shift層的邏輯描述如下：

其中是重新定義的空間索引，k，l和i，，j沿空間維度索引，而m則索引為通道；

Shift計算的核心的計算公式如下：

其中，i_m，j_m是與通道相關的索引，其映射關系如下：

4.根據權利要求1所述的面向FPGA部署的輕量神經網絡設計和量化方法，其特征在于，步驟S2中所述對基準網絡結構調整，優化算法和損失函數，進行訓練獲得全精度模型M₀，其中優化算法采用AdamW算法，損失函數采用交叉熵損失函數，網絡的結構如下：特征圖先經過3個1x1Conv層-最大池化層-3x3Shift層結構，再進入stage結構，stage包含1個下采樣block和2個基礎block，最后經過1個1x1Conv層-最大池化層-3x3Shift層結構，1個全局池化后，進入全連接層。