[發明專利]一種具有ECA通道注意力機制的神經網絡

在審

• 申請號: 202211539305.0
• 申請日: 2022-12-01
• 公開（公告）號: CN115936067A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 謝宇嘉;王曉峰;李悅;周輝;趙雄波;張輝;吳松齡;李曉敏;楊鈞宇;路坤峰;張雋;叢龍劍;蓋一帆;李山山;吳敏;林玉野;靳蕊溪
• 申請（專利權）人: 北京航天自動控制研究所
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 北京佳信天和知識產權代理事務所(普通合伙) 11939
• 代理人: 張宏偉

1.一種具有ECA通道注意力機制的神經網絡，其特征在于，所述神經網絡包括ECA通道注意力裝置，所述ECA通道注意力裝置包括：

第一層級量化單元，對所述輸入數據進行層級量化，將浮點數輸入數據轉化為定點數輸入數據；在所述第一層級量化模塊中，整個輸入張量共用一個量化步長和量化零點；

全局平均池化層，對經過所述第一層級量化模塊處理后的數據進行全局平均池化；

卷積層，與所述全局平均池化層相連，所述卷積層包括多個通道的卷積核，分別對所述全局平均池化層中的數據進行卷積計算；

激活層，所述激活層與所述卷積層之間進行全精度數據連接；

通道級量化單元，對所述激活層的輸出進行層級量化，所述通道級量化模塊對每一個通道都單獨計算一個量化步長和量化零點；

通道乘法加權模塊，所述第一層級量化輸出數據與所述通道級量化輸出數據進行通道加權乘法計算。

2.根據權利要求1所述的一種具有ECA通道注意力機制的神經網絡，其特征在于，所述激活層包括sigmoid激活層，在卷積層與sigmoid激活層之間采用全精度的數據傳遞；Sigmoid函數計算時使用高精度浮點數。

3.根據權利要求1所述的一種具有ECA通道注意力機制的神經網絡，其特征在于，所述卷積層為一維卷積核的卷積層，且卷積核采用層級量化方式。

4.根據權利要求1所述的一種具有ECA通道注意力機制的神經網絡，其特征在于，所述一種具有ECA通道注意力機制的神經網絡還包括第二層級量化單元，其中，所述第二層級量化單元設置在所述全局平均池化層和所述卷積層之間，對全局平均池化層輸出的數據進行量化。

5.根據權利要求4所述的一種具有ECA通道注意力機制的神經網絡，其特征在于，所述一種具有ECA通道注意力機制的神經網絡還包括第三層級量化單元，所述第三層級量化單元位于所述一種具有ECA通道注意力機制的神經網絡的輸出端之前，在輸出結果前對輸出結果進行量化。

6.根據權利要求1所述的一種具有ECA通道注意力機制的神經網絡，其特征在于，層級量化單元對數據進行量化處理包括：

對需要進行量化的數據進行預處理，層級量化模塊的輸入數據經過兩輪前向推理計算，完成對于輸入數據的分布統計并獲得統計直方圖，其中所述輸入數據的分布統計包括獲得數據的最大值、數據的最小值、數據的均值和方差；

計算截斷范圍，在完成了預處理獲得數據分布之后，根據應用環境的約束調價確定數據截斷范圍；

數據截斷范圍以及需要部署的硬件配置，計算量化所需參數量化步長和量化零點。

7.根據權利要求6所述的一種具有ECA通道注意力機制的神經網絡，其特征在于，通道級量化單元對數據進行量化處理包括：

對需要進行量化的數據進行預處理，層級量化模塊的輸入數據經過兩輪前向推理計算，完成對于輸入數據的分布統計并獲得統計直方圖，其中所述輸入數據的分布統計包括獲得數據的最大值、數據的最小值、數據的均值和方差；

計算截斷范圍，在完成了預處理獲得數據分布之后，根據應用環境的約束調價確定數據截斷范圍；

數據截斷范圍以及需要部署的硬件配置，計算量化所需參數量化步長和量化零點。

8.根據權利要求6或7所述的一種具有ECA通道注意力機制的神經網絡，其特征在于，對需要進行量化的數據進行預處理時只進行向前推算不進行反向傳播。

9.根據權利要求1所述的一種具有ECA通道注意力機制的神經網絡，其特征在于，所述ECA裝置包括乘法模塊，所述通道級量化單元位于所述乘法模塊中，將激活層輸出的權重結果采用層級量化。

10.根據權利要求1所述的一種具有ECA通道注意力機制的神經網絡，其特征在于，所述ECA通道注意力模塊由FPGA實現。