[發明專利]一種面向微控制器的卷積神經網絡部署和優化方法

有效

• 申請號: 202210653260.3
• 申請日: 2022-06-10
• 公開（公告）號: CN114742211B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 孫雁飛;王子牛;亓晉;許斌
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 張玉紅

一種面向微控制器的卷積神經網絡部署和優化方法，包含卷積神經網絡模型的設計、卷積計算內存的優化以及卷積神經網絡的部署三部分。卷積神經網絡模型的設計基于神經網絡架構搜索，搜索適用于微控制器計算量、參數量和內存需求小的卷積神經網絡模型；對卷積神經網絡中常用到的標準卷積、深度卷積和點卷積分別進行優化，減少卷積神經網絡推理過程中的內存占用，使卷積神經網絡可以運行在更多內存受限的微控制器上；提供一種運行在微控制器上的卷積神經網絡從構建到應用的方法，提高了微控制器運行卷積神經網絡模型的易用性和實用性。

技術領域

本發明涉及微控制器設計領域，具體涉及一種面向微控制器的卷積神經網絡部署和優化方法。

背景技術

微控制器通常只有幾十到幾百KB的內存空間和存儲空間，運行頻率從幾MHz到幾百MHz，而主流卷積神經網絡模型參數量從幾M到幾百M不等，難以滿足微控制器的存儲空間約束。針對輕量化卷積神經網絡模型的需求，學術界和工業界提出一些設計輕量化神經網絡的方法，盡管有效降低了模型的參數量和計算量，但對于微控制器來說仍有不足。以輕量化卷積神經網絡模型MobileNet V3為例，參數量有2.9M，即使在權重量化后也無法存儲到微控制器上，較大的計算量也使得在微控制器上難以實現實時檢測。此外學術界主要關注卷積神經網絡的準確率、計算量和參數量，而忽視卷積神經網絡在推理過程中的內存消耗，而內存消耗大小也決定該卷積神經網絡能否運行在微控制器上。

目前卷積神經網絡計算過程中需要大量內存，難以在微控制器上運行，使得微控制器在卷積神經網絡實際應用中主要負責采集數據，并將傳感器讀數傳送到服務器，在服務器上運行卷積神經網絡進行決策，這種方式對卷積神經網絡的應用場景造成一定限制。

現有技術中，“一種基于嵌入式GPU和卷積計算的圖像處理方法和裝置”（CN110246078B）公開了一種減少運算時內存開銷的方法，該專利是與im2col卷積計算方法相比，減少內存開銷。im2col卷積計算通過使用額外的內存空間優化數據布局，從而減少調用通用矩陣乘的次數加速卷積計算速度。相較于普通卷積計算，im2col和該專利公布的卷積計算方法都消耗更多的內存空間。“一種視覺圖像的卷積計算優化方法”（CN108564524A）公開了一種卷積計算優化方法，該專利優化內存傳輸，提高卷積計算效率，但并未減少內存使用量。“微型真菌類作物病害檢測方法”（CN11351664A）公開了一種在微控制器上運行深度學習算法的方法，該專利僅提供訓練深度學習算法、量化模型并部署微控制器上的方法，模型依靠人工設計/選取，沒有針對微控制器進行模型設計、模型壓縮、內存優化和計算加速等方法。

發明內容

本發明的目的是提供種面向微控制器的卷積神經網絡部署和優化方法，針對微控制器算力低、存儲空間有限，難以運行主流卷積神經網絡的問題，提出基于神經網絡架構搜索的方法。在搜索過程中考慮卷積神經網絡準確率、計算時間和參數量約束，從而搜索到適用于微控制器計算量和參數量小的卷積神經網絡模型；針對微控制器內存空間有限的問題，提出卷積計算占用內存的優化方法，對卷積神經網絡中常用到的標準卷積、深度卷積和點卷積分別進行優化，通過就地計算等方法減少卷積神經網絡推理過程中的內存占用；針對卷積神經網絡在微控制器上應用問題，設計運行在微控制器上的卷積神經網絡從構建到應用的方法，包括數據獲取、網絡設計、訓練、部署、加速等流程。

一種面向微控制器的卷積神經網絡部署和優化方法，包含卷積神經網絡模型的設計、卷積計算內存的優化以及卷積神經網絡的部署三部分。其中，

卷積神經網絡模型的設計：

使用神經網絡架構搜索技術在設定的搜索空間中針對準確率、計算時間、內存消耗三個指標搜索最優的網絡結構，圖1為神經網絡架構搜索流程圖。

搜索空間是一系列的可選操作，由搜索空間中的模塊組成超級網絡，在超級網絡的損失函數中加入微控制器端的計算時間消耗和內存空間消耗，和準確率一起作為優化的目標。在搜索結束后，選取超級網絡每層中概論最大的模塊作為該層保留的模塊，去除其它模塊，與其它層保留的模塊共同組成搜索到的目標網絡。