[發(fā)明專利]一種基于反向注意力模型的語義分割方法

在審

• 申請?zhí)枺?/td>: 202010513903.5
• 申請日: 2020-06-08
• 公開（公告）號: CN111680695A
• 公開（公告）日: 2020-09-18
• 發(fā)明（設計）人: 李磊;董卓莉;費選;母亞雙;李衛(wèi)東;王貴財;石帥鋒;李錚
• 申請（專利權）人: 河南工業(yè)大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/04;G06N3/08
• 代理公司: 鄭州睿信知識產(chǎn)權代理有限公司 41119
• 代理人: 崔旭東;史麗利

1.一種基于反向注意力模型的語義分割方法，其特征在于，包括以下步驟：

(1)獲取圖像數(shù)據(jù)集，構建訓練集和測試集；

(2)構建深度語義分割網(wǎng)絡模型，所述深度語義分割網(wǎng)絡模型包括基礎網(wǎng)絡模型、反向注意力模型；

所述基礎網(wǎng)絡模型包括依次連接的若干個卷積模塊和ASPP輸出模塊，所述ASPP輸出模塊用于基礎網(wǎng)絡模型的輸出特征的輸出；

所述反向注意力模型的處理過程為：

1)將所述基礎網(wǎng)絡模型的輸出特征經(jīng)過卷積層得到降維后的輸出特征，并輸入注意力計算模型獲取第一注意力視圖，將所述降維后的輸出特征與所述第一注意力視圖進行點乘后，再與降維后的輸出特征疊加，得到第一輸出特征；

2)對第一輸出特征進行上采樣，獲取至少兩個不同尺度的特征，對每個尺度的特征計算注意力視圖，并將獲取的不同尺度的注意力視圖分別與所述基礎網(wǎng)絡模型的特征圖進行點乘，將點乘后的結果分別與對應尺度的特征進行疊加，獲取不同尺度的輸出特征圖，將所述不同尺度的輸出特征圖與所述第一輸出特征進行融合，得到輸出結果；

(3)將訓練集輸入所述深度語義分割網(wǎng)絡模型進行訓練，獲得訓練好的深度語義分割網(wǎng)絡模型；

(4)將測試集輸入訓練好的深度語義分割網(wǎng)絡模型，獲取圖像分割結果。

2.根據(jù)權利要求1中所述的基于反向注意力模型的語義分割方法，其特征在于，所述深度語義分割網(wǎng)絡模型采用的損失函數(shù)包括交叉熵損失函數(shù)和基于Gumbel softmax的損失函數(shù)。

3.根據(jù)權利要求1中所述的基于反向注意力模型的語義分割方法，其特征在于，所述注意力計算模型采用通道注意力和空間注意力相結合的方式，即：

M(F)＝σ(M_c(F)+M_s(F))，

其中F∈R^H×W×C為輸入特征，H為圖像的長，W為圖像的寬，C為通道數(shù)，M_c為通道注意力計算函數(shù)，c為通道的注意力，M_s為空間注意力計算函數(shù)，s為空間的注意力，σ為sigmoid函數(shù)；M_c和M_s分別定義如下：

M_c(F)＝BN(MLP(AvgPool(F)))

＝BN(w₁(w₀AvgPool(F)+b₀)+b₁)

其中，MLP表示多層感知器，即全連接；AvgPool為平均池化層，BN為批量歸一化，w₀、w₁為網(wǎng)絡權重，b₀和b₁為偏移量參數(shù)，w₀∈R^C/r×C、b₀∈R^C/r、w₁∈R^C×C/r及b₁∈R^C，r為通道縮放比率，C為通道數(shù)；f₀、f₁、f₂、f₃為卷積操作，1×1和3×3為卷積核大小。