[發明專利]一種具有ECA通道注意力機制的神經網絡

在審

• 申請號: 202211539305.0
• 申請日: 2022-12-01
• 公開（公告）號: CN115936067A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 謝宇嘉;王曉峰;李悅;周輝;趙雄波;張輝;吳松齡;李曉敏;楊鈞宇;路坤峰;張雋;叢龍劍;蓋一帆;李山山;吳敏;林玉野;靳蕊溪
• 申請（專利權）人: 北京航天自動控制研究所
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 北京佳信天和知識產權代理事務所(普通合伙) 11939
• 代理人: 張宏偉

本公開涉及一種具有ECA通道注意力機制的神經網絡，所述神經網絡包括ECA通道注意力裝置，所述ECA通道注意力裝置包括：第一層級量化單元，對所述所輸入數據進行層級量化，將浮點數輸入數據轉化為定點數輸入數據；在所述第一層級量化模塊中，整個輸入張量共用一個量化步長和量化零點；通道級量化單元，對所述激活層的輸出進行層級量化，所述通道級量化模塊對每一個通道都單獨計算一個量化步長和量化零點；通道乘法加權模塊，所述第一層級量化輸出數據與所述通道級量化輸出數據進行通道加權乘法計算。本公開通過將一維卷積層級的結果進行無損精度輸出，將激活層模塊沿通道方向進行量化，其他數據使用層級量化操作的方案解決模型精度下降的問題。

技術領域

本專利屬于深度學習領域，特別涉及一種ECA通道注意力機制的一種具有ECA通道注意力機制的神經網絡。

背景技術

通道注意機制已被證明在改善深度卷積神經網絡的性能方面具有巨大潛力。針對不同的任務，在ResNet、MobileNetV2等主干網絡中加入ECA(Efficient?ChannelAttention)通道注意力機制可以有效提升模型的性能。將ECA注意力機制加入主干網絡并在邊緣端部署實現邊緣端的推理也可以提升當前應用的性能。

當前深度學習的網絡模型中引入了大量的參數與計算，對于計算資源消耗很大。在終端使用中，存儲空間及計算資源有嚴格限制，因此深度學習網絡模型在硬件平臺的部署成為了難點。

為了降低計算消耗，硬件處理的一種方式是采用低精度數據進行計算。網絡模型量化即將網絡模型中運算的已訓練好的數據從高精度轉化成低精度的操作過程，模型量化可以減少內存和存儲占用、降低功耗、提升計算速度。然而，因量化產生的參數位寬降低往往會帶來模型預測的精度損失。

針對注意力模塊，模型參數及特征值的量化將會對整個模型的輸出結果產生巨大的影響，致使無法滿足模型精度需求。在在降低模型的存儲需求及算力需求的條件下，模型精度要達到基本無損，需要研究合理的量化方案。

發明內容

本公開正是基于現有技術的上述需求而提出的，本公開要解決的技術問題是提出一種針對ECA通道注意力機制的量化方法，根據應用需求，在降低模型的存儲需求及算力需求的條件下，模型精度需要精度無損的量化。

為了解決上述技術問題，本公開所采用的技術方案包括：

一種具有ECA通道注意力機制的神經網絡，所述神經網絡包括EAC通道注意力裝置，所述EAC通道注意力裝置包括：第一層級量化單元，對所述所輸入數據進行層級量化，將浮點數輸入數據轉化為定點數輸入數據；在所述第一層級量化模塊中，整個輸入張量共用一個量化步長和量化零點；全局平均池化層，對經過所述第一層級量化模塊處理后的數據進行全局平均池化；卷積層，與所述全局平均池化層相連，所述卷積層包括多個通道的卷積核，分別對所述全局平均池化層中的數據進行卷積計算；激活層，所述激活層與所述卷積核組之間進行全精度數據連接；通道級量化單元，對所述激活層的輸出進行層級量化，所述通道級量化模塊對每一個通道都單獨計算一個量化步長和量化零點；通道乘法加權模塊，所述第一層級量化輸出數據與所述通道級量化輸出數據進行通道加權乘法計算。

優選地，所述激活層包括sigmoid激活層，在卷積層與sigmoid激活層之間采用全精度的數據傳遞；Sigmoid函數計算時使用高精度浮點數。

優選地，所述卷積層為一維卷積核的卷積層。

優選地，所述一種具有ECA通道注意力機制的神經網絡還包括第二層級量化單元，其中，所述第二層級量化單元設置在所述全局平均池化層和所述卷積層之間，對全局平均池化層輸出的數據進行量化。

優選地，所述一種具有ECA通道注意力機制的神經網絡還包括第三層級量化單元，所述第三層級量化單元位于所述一種具有ECA通道注意力機制的神經網絡的輸出端之前，在輸出結果前對輸出結果進行量化。