[發明專利]融合局部與全局特征的快速語義分割網絡和語義分割方法

在審

• 申請號: 202310086646.5
• 申請日: 2023-01-17
• 公開（公告）號: CN116129119A
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 徐國平;冷雪松;王霞霞;廖文濤;張炫;吳興隆
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V20/70;G06V10/82;G06V10/42;G06V10/44;G06V10/80;G06N3/045;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 樊凡

1.一種融合局部特征與全局特征的快速語義分割網絡，其特征在于：包括第一分支、第二分支和MSFFM多尺度融合模塊；

第一分支為CNN分支，包括多個卷積層，用于提取圖像的局部特征信息；

第二分支為Transformer分支，包括LN層、多個Outlooker注意力層和一系列轉換器MLP，用于通過下采樣和自注意力機制提取圖像的全局特征信息和上下文特征信息；

第一分支和第二分支輸出的特征信息通過多個雙邊連接以交互的方式融合；第二分支的每次計算輸出與第一分支的輸出進行交互，用于讓第一分支更好的學習全局特征且不增加計算復雜度；

第二分支的每次計算輸出連接到MSFFM多尺度融合模塊，MSFFM多尺度融合模塊用于融合通過交互方式融合后的第一分支和第二分支輸出的特征信息，對信息做多尺度的融合操作。

2.根據權利要求1所述的一種融合局部特征與全局特征的快速語義分割網絡，其特征在于：第一分支中，

設X為輸入的特征圖像，Conv為卷積操作，BN為層歸一化操作，ReLU為激活操作；每個卷積層包括一次Conv操作、一次BN操作和激活操作ReLU函數對其進行；Conv操作用于提取特征圖的特征；BN操作用于避免圖像在進行梯度運算的過程中產生梯度爆炸以及梯度消失現象；ReLU函數用于將每一層的輸出控制在預設范圍內，并使其數值為小于0的負數；

則卷積層的公式為：

X′＝F.ReLU(BN(Conv(X)))?????????(1)。

3.根據權利要求2所述的一種融合局部特征與全局特征的快速語義分割網絡，其特征在于：第二分支中，

設LN為層標準化；OutlookerAtt為Outlooker注意力層，用于進行空間編碼生成精細化的表示；MLP用于進行通道間信息交互聚合全局信息，建立遠距離的依賴關系；每個部分前都有塊嵌入模塊用于將輸入映射到指定形狀；輸入的特征圖像X依次經過LN層、Outlooker模塊和MLP提取該圖像的全局特征：

X′＝OutlookerAtt(LN(X))+X??????(2)，

Z＝MLP(LN(X′))+X′??????????????(3)。

4.一種基于權利要求1至3中任意一項所述的融合局部特征與全局特征的快速語義分割網絡的語義分割方法，其特征在于：包括以下步驟：

S1：設輸入的待進行語義分割的圖像為A；對圖像A進行雙分支操作，分別通過CNN操作和Transformer操作提取圖像的局部特征和全局特征；

S2：將雙分支的輸出進行交互后輸入到MSFFM多尺度融合模塊中，對CNN操作提取的局部特征和Transformer操作提取的全局特征進行不同尺度的融合，得到融合了全局特征信息以及局部特征信息的特征圖。

5.根據權利要求4所述的語義分割方法，其特征在于：所述的步驟S1中，具體步驟為：

S11：圖像A經過兩次帶下采樣的卷積操作，產生分辨率為圖像A的1/4的特征圖A1，并分別輸入到CNN分支和Transformer分支；

S12：Transformer分支產生分辨率為圖像A的1/8的特征圖A2；將特征圖A2輸入到MSFFM多尺度融合模塊；同時對特征圖A2做帶上采樣的卷積操作后再與特征圖A1進行相加操作，并輸入到CNN分支；

S13：對經過CNN分支的卷積操作后得到的新的特征圖進行一次帶下采樣的CNN操作，然后與特征圖A2進行相加操作；

S14：Transformer分支使用Transformer操作來融合相加起來的特征圖；

S15：重復步驟S12至S14三次，Transformer分支分半產生特征圖A2、特征圖A3和特征圖A4，對應的分辨率分別為圖像A的1/8、1/16和1/32；

S16：對特征圖A4做帶上采樣的卷積操作后再與CNN分支上一步輸出的特征圖進行相加操作，并輸入到CNN分支經過卷積操作輸出特征圖A5，其分辨率為圖像A的1/4。