[發明專利]一種面向FPGA部署的輕量神經網絡設計和量化方法

在審

• 申請號: 202310279768.6
• 申請日: 2023-03-21
• 公開（公告）號: CN116362317A
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 韓露露;明曉鈺;葉劍波;崔珂;李翔宇
• 申請（專利權）人: 南京理工大學
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/084;G06N3/0464;G06F15/78
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 陳鵬

本發明公開了一種面向FPGA部署的輕量神經網絡設計和量化方法，包括：以ShuffleNet?v2為基礎，對網絡進行優化設計，獲得基準網絡；對基準網絡進行訓練獲得全精度模型Msubgt;0/subgt;，判斷準確率是否達到要求；按照基準網絡結構，面向硬件量化部署進行基準量化方法設計；在全精度模型Msubgt;0/subgt;的基礎上，使用基準量化方法量化訓練得到量化模型Msubgt;1/subgt;，接下來每次都以上一次得到的量化模型Msubgt;i?1/subgt;為基準，重復使用基準量化方法訓練量化，直到準確率損失大于閾值，停止訓練，得到符合要求的量化模型。本發明提出的方法所獲得的神經網絡在結構上對FPGA十分友好，網絡的參數量、計算量和內存占用大大降低，非常適合在FPGA上進行加速部署。

技術領域

本發明涉及深度學習技術領域，具體涉及一種面向FPGA部署的輕量神經網絡設計和量化方法。

背景技術

在醫療檢測、邊緣計算等一些現實任務中，神經網絡需要在資源有限的嵌入式設備上被實時的執行，由于功耗、尺寸、資源和速度的限制，使用現場可編程門陣列(FieldProgrammable?Gate?Array，FPGA)加速神經網絡推理得到了廣泛的研究和應用。雖然已經出現了不少性能良好的FPGA加速器，但是大多數FPGA加速器都是在硬件端去加速成熟的神經網絡。然而，大多數主流的神經網絡都是基于CPU/GPU平臺去設計的，FPGA與CPU/GPU有著完全不同的硬件結構和特性，這使得很多在CPU/GPU平臺上適用的網絡結構在FPGA上難以適用。此外，主流的網絡模型參數大多是32bit/64bit的浮點數，雖然浮點數具有更高的精度，但在FPGA上部署十分困難。以上問題需要硬件層面進行大量的優化設計，這大大加劇了FPGA加速器的開發和應用的難度。

發明內容

本發明的目的在于提供一種面向FPGA部署的輕量神經網絡設計和量化方法。

實現本發明目的的技術解決方案為：第一方面，本發明提供一種面向FPGA部署的輕量神經網絡設計和量化方法，包括以下步驟：

步驟S1、以ShuffleNet?v2為基礎，對網絡進行優化設計，獲得基準網絡；

步驟S2、對基準網絡結構調整，優化算法和損失函數，進行訓練獲得全精度模型M₀；

步驟S3、根據測試集準確率判斷M₀是否達到要求，若滿足則進入步驟S4；不滿足則更改網絡結構，修改優化函數、學習率和損失函數這些參數的數值，并轉至步驟S2重新訓練；

步驟S4、按照基準網絡結構，面向硬件量化部署進行基準量化方法設計；

步驟S5、在全精度模型M₀的基礎上，使用基準量化方法量化訓練得到量化模型M₁；

步驟S6、在量化模型M_i-1的基礎上，使用基準量化方法量化訓練得到量化模型M_i，其中i1；

步驟S7、計算M_i在測試集上的準確率比M₀減少了多少，即量化帶來的準確率損失，若該值小于設定的閾值，則進入步驟S8；否則轉至步驟S繼續量化訓練；

步驟S8、得到量化模型Mi，用于后續FPGA硬件部署。

第二方面，本發明提供一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現第一方面所述的方法的步驟。

第三方面，本發明提供一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現第一方面所述的方法的步驟。

第四方面，本發明提供一種計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現第一方面所述的方法的步驟。