[發(fā)明專利]一種在邊緣節(jié)點上部署二值化分類網(wǎng)絡(luò)的方法

在審

• 申請?zhí)枺?/td>: 202110040706.0
• 申請日: 2021-01-13
• 公開（公告）號: CN112699962A
• 公開（公告）日: 2021-04-23
• 發(fā)明（設(shè)計）人: 吳麗君;林旭;陳志聰;林培杰;程樹英
• 申請（專利權(quán)）人: 福州大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/08;G06N3/04
• 代理公司: 福州元創(chuàng)專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學(xué)俊

1.一種在邊緣節(jié)點上部署二值化分類網(wǎng)絡(luò)的方法，其特征在于：包括以下步驟：

步驟S1：ImageNet數(shù)據(jù)集的準備，提供訓(xùn)練集和驗證集；

步驟S2：對Bi-Real-Net網(wǎng)絡(luò)進行改進，在改進的Bi-Real-Net網(wǎng)絡(luò)中使用二值化方法對網(wǎng)絡(luò)進行壓縮和加速；隨后在服務(wù)器端對改進的Bi-Real-Net網(wǎng)絡(luò)進行訓(xùn)練，在訓(xùn)練過程中將STE的更新區(qū)間從[-1,1]擴大到[-2,2]，用以提升網(wǎng)絡(luò)的性能，最后在ImageNet驗證集上進行性能測試；

步驟S3：提取服務(wù)器端訓(xùn)練完的網(wǎng)絡(luò)權(quán)重信息，利用Xilinx SDx將改進后的Bi-Real-Net網(wǎng)絡(luò)搭建在FPGA上，實現(xiàn)網(wǎng)絡(luò)在邊緣節(jié)點上的部署。

2.根據(jù)權(quán)利要求1所述的一種在邊緣節(jié)點上部署二值化分類網(wǎng)絡(luò)的方法，其特征在于：所述步驟S1的具體內(nèi)容為：改進Bi-Real-Net網(wǎng)絡(luò)訓(xùn)練及驗證所采用的數(shù)據(jù)集為ImageNet數(shù)據(jù)集；該數(shù)據(jù)集共1000種類別，包含126萬張訓(xùn)練集和5萬張驗證集。

3.根據(jù)權(quán)利要求1所述的一種在邊緣節(jié)點上部署二值化分類網(wǎng)絡(luò)的方法，其特征在于：步驟S2中所述對Bi-Real-Net網(wǎng)絡(luò)進行改進具體包括以下步驟：

步驟SA：在18層Bi-Real-Net的整體架構(gòu)上進行修改，分解網(wǎng)絡(luò)中的3×3卷積核：將網(wǎng)絡(luò)中的每個3×3卷積核用3×1和1×3卷積核的串接進行替換，并且，在替換的基礎(chǔ)上，將每個卷積核的輸入特征圖和卷積核的輸出特征圖進行逐像素的相加；

步驟SB：將網(wǎng)絡(luò)中的每兩個塊結(jié)構(gòu)的輸入特征圖和輸出特征圖進行堆疊；其中，這兩個塊結(jié)構(gòu)中共包含4個3×1卷積核和4個1×3卷積核，并且，每個卷積核的輸出通道數(shù)相等；通過步驟SA和步驟SB，即得到改進后的Bi-Real-Net網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1所述的一種在邊緣節(jié)點上部署二值化分類網(wǎng)絡(luò)的方法，其特征在于：步驟S2中所述改進的Bi-Real-Net網(wǎng)絡(luò)中使用二值化方法實現(xiàn)網(wǎng)絡(luò)的壓縮和加速的具體內(nèi)容為：將輸入到卷積層即除第一層卷積層以外的所有卷積層的特征數(shù)據(jù)和網(wǎng)絡(luò)權(quán)重進行二值化操作，二值化操作的公式如下：

其中，x為輸入特征數(shù)據(jù)和網(wǎng)絡(luò)權(quán)重；在Bi-Real-Net中采用與全精度卷積神經(jīng)網(wǎng)絡(luò)不同的塊結(jié)構(gòu)順序，具體順序為批歸一化、二值激活、二值卷積和降采樣，用以減少二值化所引起的信息損失；在改進的Bi-Real-Net網(wǎng)絡(luò)中，第一層卷積層和最后一層全連接層保留為全精度，用以進一步保存原始圖像中的信息。

5.根據(jù)權(quán)利要求1所述的一種在邊緣節(jié)點上部署二值化分類網(wǎng)絡(luò)的方法，其特征在于：步驟S2中所述，在改進的Bi-Real-net網(wǎng)絡(luò)訓(xùn)練過程中，使用STE來近似sign函數(shù)的導(dǎo)數(shù)；在改進的Bi-Real-Net中，將STE的更新區(qū)間從[-1,1]擴大到[-2,2]，用以提高網(wǎng)絡(luò)的性能；

6.根據(jù)權(quán)利要求1所述的一種在邊緣節(jié)點上部署二值化分類網(wǎng)絡(luò)的方法，其特征在于：步驟S2中所述對改進的Bi-Real-Net網(wǎng)絡(luò)的具體訓(xùn)練過程如下：基于Bi-Real-Net的整體架構(gòu)進行修改，得到改進的Bi-Real-Net網(wǎng)絡(luò)；采用隨機梯度下降算法對網(wǎng)絡(luò)的權(quán)重進行更新；將準備好的訓(xùn)練集輸入改進后的Bi-Real-Net網(wǎng)絡(luò)中，利用反向傳播求取梯度值，并對網(wǎng)絡(luò)中的權(quán)重進行更新，具體公式如下：

其中，grad為梯度值，l為學(xué)習(xí)率，為C通道下的第j個權(quán)重元素值；為更新后的權(quán)重值；并且在訓(xùn)練的過程中，將初始學(xué)習(xí)率l設(shè)置為0.001，用以使得權(quán)重的變化更加平坦；網(wǎng)絡(luò)的總訓(xùn)練輪數(shù)為90epochs，在每個epoch結(jié)束時，將驗證集作為測試集輸入到網(wǎng)絡(luò)中，對網(wǎng)絡(luò)的性能進行測試，并對網(wǎng)絡(luò)的性能進行記錄。

7.根據(jù)權(quán)利要求1所述的一種在邊緣節(jié)點上部署二值化分類網(wǎng)絡(luò)的方法，其特征在于：步驟S3中所述實現(xiàn)網(wǎng)絡(luò)在邊緣節(jié)點上的部署的具體內(nèi)容如下：首先在服務(wù)器端對改進的Bi-Real-Net進行訓(xùn)練，待網(wǎng)絡(luò)訓(xùn)練完畢后，提取網(wǎng)絡(luò)中的權(quán)重信息，保存到相應(yīng)的txt文檔中；其次，基于C++，讀取txt文檔，并實現(xiàn)網(wǎng)絡(luò)的前向傳播過程；最后，利用Xilinx SDx開發(fā)工具將C++代碼轉(zhuǎn)成硬件描述語言，綜合編譯后生成比特流文件，并將比特流文件移植到FPGA端，實現(xiàn)網(wǎng)絡(luò)在邊緣節(jié)點上的部署。