[發明專利]用于目標檢測的深度卷積神經網絡的壓縮加速方法

在審

• 申請號: 201811267286.4
• 申請日: 2018-10-26
• 公開（公告）號: CN111105007A
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 李志遠;余成宇;吳綺;金敏;魯華祥;陳艾東;郭祉薇
• 申請（專利權）人: 中國科學院半導體研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 張宇園

1.一種用于目標檢測的深度卷積神經網絡的壓縮加速方法，包括如下步驟：

步驟1：構建并訓練出一個用于目標檢測的深度卷積神經網絡；

步驟2：對深度卷積神經網絡中所有的權重值和除最后一層外的各層經激活函數后的激活值進行量化測試，量化步長由小至大，測試所述深度卷積神經網絡的檢測性能損失情況，在設定的損失范圍內，選擇最大的量化步長；

步驟3：利用所述最大的量化步長，根據網絡需要的壓縮位數，確定深度卷積神經網絡中權重值與激活值的截斷范圍，對所述深度卷積神經網絡加以限制，并訓練深度卷積神經網絡；

步驟4：對所述深度卷積神經網絡進行截斷與量化，并對量化后的深度卷積神經網絡前向代碼進行編寫。

2.根據權利要求1所述的用于目標檢測的深度卷積神經網絡的壓縮加速方法，其特征在于，所述步驟1包括：

步驟11：設計所述深度卷積神經網絡的結構，設置卷積層和池化層的參數，除最后一個卷積層外，在每個卷積層與激活函數之間添加批量歸一化層；

步驟12：將訓練集的數據輸入至所述深度卷積神經網絡，采用隨機梯度下降法對深度卷積神經網絡進行訓練，當深度卷積神經網絡在測試集上的誤差收斂時，終止訓練，保存深度卷積神經網絡各個層的參數。

3.根據權利要求1或2所述的用于目標檢測的深度卷積神經網絡的壓縮加速方法，其特征在于，所述步驟11包括：所述激活函數采用ReLU。

4.根據權利要求1所述的用于目標檢測的深度卷積神經網絡的壓縮加速方法，其中其特征在于，所述步驟2包括：

步驟21：對網絡中所有的權重值和除最后一層外的各層經激活函數后的激活值進行量化，量化方式采用均勻量化，量化公式如下：

其中，x是量化前的浮點數，n是量化的位數，激活函數采取統一的量化步長，權重值的量化各層由前至后單獨進行；

步驟22：選定合適的閾值，量化步長由小至大，即n值由大至小，測試網絡的檢測性能損失情況，在性能損失小于選定的閾值情況下，選擇最大的量化步長。

5.根據權利要求1所述的用于目標檢測的深度卷積神經網絡的壓縮加速方法，其特征在于，所述步驟3包括：

步驟31：利用步驟2中選定的激活值量化步長，根據網絡需要的壓縮位數，確定深度卷積神經網絡中激活值的截斷范圍；

步驟32：利用步驟2中選定的各層權重值量化步長，根據網絡需要的壓縮位數，確定深度卷積神經網絡中權重值的截斷范圍；

步驟33：利用上述截斷范圍，對所述深度卷積神經網絡的權重值和激活值范圍加以限制，并訓練深度卷積神經網絡。

6.根據權利要求1所述的用于目標檢測的深度卷積神經網絡的壓縮加速方法，其特征在于，所述步驟4包括：

步驟41：對所述深度卷積神經網絡進行截斷與量化，并將量化后的權重值進行Huffman編碼，以節省存儲空間；

步驟42：編寫卷積層的前向代碼；

步驟43：編寫池化層的前向代碼。