[發明專利]一種基于參數量化的深度學習網絡模型優化方法

在審

• 申請號: 202310162619.1
• 申請日: 2023-02-24
• 公開（公告）號: CN116524173A
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 鈕賽賽;邵艷明;蔡彬;史慶杰;張晗
• 申請（專利權）人: 上海航天控制技術研究所
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/44;G06V10/774;G06V10/82;G06N3/0464;G06N3/0495
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 陳鵬

一種基于參數量化的深度學習網絡模型優化方法，針對在彈載平臺上搭建基于深度學習的智能信息處理平臺時所面臨的內存、功耗等硬件資源的限制，以及對于紅外圖像目標檢測與識別場景中的實時性要求和算法輕量化需求，基于YOLOv3?tiny的輕量化網絡模型，結合低比特量化和通道級量化方法，在模型重訓練過程中分步實現權重參數的量化方法。

技術領域

本發明涉及一種基于參數量化的深度學習網絡模型優化方法，屬于計算機視覺技術領域。

背景技術

目前基于深度學習的紅外目標檢測方法大多通過建立高性能的網絡模型以達到高準確率的識別效果。但在彈載平臺環境中，在空間、功耗等資源受限的嵌入式硬件平臺難以適應深度神經網絡復雜的算力需求和冗余的存儲需求，因此需要從低功耗、小型化的智能化硬件，以及低復雜度的深度學習網絡模型優化等方面入手，研究適合彈載平臺的深度學習計算軟、硬件平臺系統。當給定固化的智能化硬件平臺時，從研究低復雜度的深度學習網絡模型優化方面入手，可以有效的節約智能化處理器的存儲空間，減小處理器的復雜度規模，提高處理器的運算效率，降低處理器所需的功耗。

在計算機中低比特數相較高比特浮點數占用的存儲空間更小。量化這種模型壓縮方法即在卷積神經網絡參數上，使用低精度的數來代替高精度浮點數表示。例如使用8位整數來替代原本卷積神經網絡的32位單精度浮點數，那么網絡模型所占用的存儲空間將縮減至原本的四分之一。這種低精度表示方法在一定程度上減少了網絡中存在的表示冗余，即用量化后的參數可以很好地表達網絡的特性，而不需要太高的精度。但在一些情況下，量化后的參數表達精度難以滿足目標任務所需的表達精度，便會造成網絡精度下降。而網絡量化的任務目標是在盡可能少的損失網絡精度的前提下使用盡可能少的位數來表達網絡，取得一個量化位數與精度損耗的平衡。

參考文獻[CN?114170512?A]中，針對現有遙感SAR目標檢測方法模型復雜度高和推理速度慢的的不足，從公開的遙感SAR目標檢測數據集中獲取劃分好的訓練集和測試集進行擴充和數據增強；對現有輕量化網絡進行調整、剪枝及混合精度量化，得到最終的基于網絡剪枝和參數量化結合的遙感SAR目標檢測模型，在提高檢測精度的同時節省了訓練成本。

參考文獻[CN?111767993?A]中，提供了一種卷積神經網絡INT8量化方法、系統、設備及存儲介質，通過將模型卷積層參數、輸入和輸出進行離線非線性INT8量化，實現整個模型純整數運算，同時提高量化精度。

參考文獻[李家仕.深度神經網絡壓縮與加速研究[D].北京郵電大學，2020]中，針對將浮點型的參數和激活值一次性量化到低比特的數值(One-Shot量化)時所帶來的嚴重的網絡震蕩，使得量化后的網絡訓練難以收斂、精度低的問題，提出一種輸出通道維度上的增量量化算法，通過迭代地量化網絡參數和激活值的方式來減小量化過程中的網絡波動。在每次量化迭代中，只有一部分輸出通道對應的網絡參數和網絡激活值根據規則被選取并量化。且為了進一步緩解網絡的波動，每次量化迭代中被量化的權重和激活值在輸出通道維度上應該是不相交的。

針對現有網絡模型優化方法多采用單一的減枝或是量化壓縮的方式，以及在紅外目標識別網絡輕量化上的應用缺乏，本發明內容在現有網絡量化方法的基礎上，針對紅外目標識別的需求和特點，結合INT8量化、通道量化等方式，分步實現基于YOLOv3-tiny網絡的紅外目標識別網絡模型的低復雜度優化方法。

發明內容

本發明解決的技術問題是：針對目前現有技術中，存在的在彈載平臺上搭建基于深度學習的智能信息處理平臺時所面臨的內存、功耗等硬件資源的限制，提出了一種基于參數量化的深度學習網絡模型優化方法。

本發明解決上述技術問題是通過如下技術方案予以實現的：

一種基于參數量化的深度學習網絡模型優化方法，包括：

構建基于YOLOv3-tiny的輕量化網絡模型并訓練得到初步的浮點型的網絡權重參數；所述輕量化網絡模型包括卷積層、批歸一化層、激活函數、最大池化層，上采樣層、路由層，