[發明專利]一種多分支深度自注意力變換網絡的神經網絡架構及實現方法

在審

• 申請號: 202110648214.X
• 申請日: 2021-06-10
• 公開（公告）號: CN113298235A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 李云響;王亞奇;章一帆;夏能;彭睿孜;唐凱;俞定國;張隨雨
• 申請（專利權）人: 浙江傳媒學院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 陳升華

1.一種多分支深度自注意力變換網絡的神經網絡架構，其特征在于，包括：

接收圖像的卷積信息提取結構；

接收所述卷積信息提取結構輸出的局部特征提取分支和全局特征提取分支，所述的局部特征提取分支和全局特征提取分支為并聯結構；

接收所述局部特征提取分支和全局特征提取分支輸出的分支融合模塊；

與所述分支融合模塊連接的全連接層。

2.根據權利要求1所述的多分支深度自注意力變換網絡的神經網絡架構，其特征在于，所述的卷積信息提取結構采用ResNeXt網絡的前4個階段。

3.根據權利要求1所述的多分支深度自注意力變換網絡的神經網絡架構，其特征在于，所述的局部特征提取分支，包括：多個并聯的分組卷積單通道模塊，所述的分組卷積單通道模塊包括多個局部信息提取單元，所述的局部信息提取單元1×1卷積層、3×3卷積層、1×1卷積層。

4.根據權利要求3所述的多分支深度自注意力變換網絡的神經網絡架構，其特征在于，所述的分組卷積單通道模塊為并聯連接的32個。

5.根據權利要求1所述的多分支深度自注意力變換網絡的神經網絡架構，其特征在于，所述的全局特征提取分支，包括：

與所述卷積信息提取結構輸出端連接的下采樣卷積層；

與所述下采樣卷積層連接的全局特征提取單元；

與所述全局特征提取單元連接的上采樣模塊。

6.根據權利要求5所述的多分支深度自注意力變換網絡的神經網絡架構，其特征在于，所述的全局特征提取單元包括：多個瓶頸深度自注意力變換模塊，所述的瓶頸深度自注意力變換模塊包括：依次連接的1×1卷積層、多頭自注意力模塊、1×1卷積層。

7.根據權利要求1所述的多分支深度自注意力變換網絡的神經網絡架構，其特征在于，所述的分支融合模塊包括：

分支特征連接模塊；

與所述分支特征連接模塊的通道關系學習支路和基準支路；

與所述通道關系學習支路和基準支路連接的通道重加權模塊；

與所述通道重加權模塊連接的通道概率丟棄層。

8.根據權利要求7所述的多分支深度自注意力變換網絡的神經網絡架構，其特征在于，所述的通道關系學習支路包括依次連接的池化層、1×1卷積層、ReLU層、1×1卷積層、Sigmoid層。

9.根據權利要求1～8任一項所述的多分支深度自注意力變換網絡的神經網絡架構的實現方法，包括以下步驟：

S1、將圖像輸入ResNeXt的前4個階段得到特征層；

S2、將步驟S1中得到的特征層進行下采樣，得到的特征層會進行批次歸一化操作；

S3、將步驟S2中得到的新的特征層通過三個瓶頸深度自注意力變換模塊；

S4、將步驟S3中得到的新的特征層進行上采樣，得到了全局特征分支的特征層；

S5、將步驟S1中得到的特征層通過ResNeXt網絡的第5階段，將特征層的通道均分成32個并聯的分組卷積單通道模塊；

S6、將步驟S5中得到的32個特征層經行加權合并得到局部特征分支的特征層；

S7、將步驟S4得到的全局特征分支的特征層和步驟S6得到局部特征分支的特征層合并得到新的特征層；

S8、將步驟S7得到的特征層經過分支融合模塊，使得特征層中的每個通道都擁有不同的權重，并最后經過模塊末端的通道概率丟棄層得到新的特征層；

S9、將步驟S8得到的特征層經過全連接層得到結果。

10.根據權利要求9所述的方法，其特征在于，步驟S3中，每個瓶頸深度自注意力變換模塊包含1×1卷積層，多頭自注意力模塊，1×1卷積層；

步驟S5中，所述的分組卷積單通道模塊包括多個局部信息提取單元，所述的局部信息提取單元1×1卷積層、3×3卷積層、1×1卷積層；

步驟S8中，所述的分支融合模塊包括：

分支特征連接模塊；

與所述分支特征連接模塊的通道關系學習支路和基準支路；

與所述通道關系學習支路和基準支路連接的通道重加權模塊；

與所述通道重加權模塊連接的通道概率丟棄層；

所述的通道關系學習支路包括依次連接的池化層、1×1卷積層、ReLU層、1×1卷積層、Sigmoid層。