[發明專利]一種利用多層卷積層信息的注意力機制方法

在審

• 申請號: 202110768002.5
• 申請日: 2021-07-07
• 公開（公告）號: CN113570035A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 李章維;胡安順;王曉飛
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06K9/62
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種利用多層卷積層信息的注意力機制方法，利用當前卷積層的信息以及在它之前兩層的卷積層的信息來關注當前層特征的重要性；首先，確定當前層卷積的輸出A以及在它之前兩層的卷積層的輸出A'，利用全局平均池化分別得到它們的通道信息，再利用1×1的卷積對通道進行壓縮以減少計算量。利用壓縮后的特征計算權值矩陣，計算出的權值矩陣作用于A壓縮后的特征，進行特征更新。再利用1×1的卷積將更新后的特征恢復到A的維度，與A做殘差連接。本發明可以更加突出某一層比較重要的特征，抑制不重要的特征，同時也可以加強特征間的聯系。

技術領域

本發明涉及計算機視覺、模式識別與計算機應用領域，具體而言涉及一種利用多層卷積層信息的注意力機制方法。

背景技術

注意力機制在卷積神經網絡中的作用已經越來越突出，應用范圍也越來越廣泛。目前的注意力機制分兩大類別即軟注意力和硬注意力，大多數注意力機制都是軟注意力機制。軟注意力機制是給不同的特征配權重，突出重要的特征，抑制不重要的特征。硬注意力是為了消除不相關信息的干擾，提高計算率。從作用域來分，注意力機制可分為三類：通道注意力機制、空間注意力機制、通道-空間注意力機制。通道注意力是關注哪種特征更重要，空間注意力機制是關注哪個位置更重要。通道-空間注意力機制將通道注意力機制和空間注意力機制結合使用。注意力機制可以在增加較少的參數和計算量的條件下，提升網絡性能，因此注意力機制在提升網絡性能方面具有重要意義。

調研文獻發現，已經有許多的注意力模塊被提出。如：SENet(J.Hu,L.Shen,S.Albanie,G.Sun,E.Wu.Squeeze-and-Excitation Networks[J].IEEE Transcation onPattern Analysis and Machine Itelligence,2017,42(8):2011-2023.即：J.Hu等.擠壓激發網絡[J].IEEE模式分析與機器智能，2017,42(8):2011-2023)、CBAM(S.Woo,J.Park,J.Y.Lee,I.S.Kweon.CBAM:Convolutional Block Attention Module[C].Proceedings ofthe European Conference on Computer Vision and Pattern Recognition,2018:3-19.即S.Woo等CBAM：卷積阻塞注意力模塊[C].計算機視覺和模式識別歐洲會議記錄，2018:3-19.)、RANet(F.Wang,M.jiang,C.Qian,S.Yang,C.Li,H.Zhang,X.Wang,X.Tang.Residualattention network for image classification[C].Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2017:3156-3164.即F.Wang等，用于圖像分類的殘差注意力網絡[C].計算機視覺和模式識別歐洲會議記錄，2017:2156-2164)、DANet(J.Fu,J.Liu,H.Tian,Y.Li,Y.Bao,Z.Fang,H.Lu.Dual AttentionNetwork for Scene Segmentation[C].Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,2019:3141-3149.即J.Fu等，用于場景分割的雙重注意力網絡[C].IEEE國際計算機視覺與模式識別會議，2019:3141-3149.)。已有的注意力模塊，通過網絡學習的方式來確定某一層的權重，這是一個抽象的過程，導致了大多數的注意力模塊局限于在某一層中或是通過不同的信息捕獲方式給特征配權重，或是關注于減少注意力模塊的計算量，或是關注于將作用在不同域的注意力模塊結合使用，而這些注意力模塊均是使用某一層的信息來關注該層的特征。