[發明專利]一種基于反向注意力模型的語義分割方法

在審

• 申請號: 202010513903.5
• 申請日: 2020-06-08
• 公開（公告）號: CN111680695A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 李磊;董卓莉;費選;母亞雙;李衛東;王貴財;石帥鋒;李錚
• 申請（專利權）人: 河南工業大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/04;G06N3/08
• 代理公司: 鄭州睿信知識產權代理有限公司 41119
• 代理人: 崔旭東;史麗利

本發明涉及一種基于反向注意力模型的語義分割方法；其主要是先獲取圖像數據集，構建訓練集和測試集；構建深度語義分割網絡模型，所述深度語義分割網絡模型包括基礎網絡模型和反向注意力模型；將基礎網絡輸出的特征輸入反向注意力模型計算注意視圖，將該注意力視圖分別逐步反作用于基礎語義分割網絡低層輸出特征，并和基礎網絡輸出特征及其上采樣特征融合得到最終分割結果；該模型僅使用基礎語義分割網絡輸出特征計算注意力視圖，指導低層特征融入基礎語義分割網絡輸出特征，從而抑制模型低層特征中的噪聲，提升了語義分割模型的魯棒性和分割精度；同時，為基礎語義分割模型的高層輸出特征增加基于Gumbel softmax的損失函數，以加快模型訓練的速度。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于反向注意力模型的語義分割方法。

背景技術

近年來，深度學習得到了突飛猛進的發展，以卷積神經網絡(CNN)為代表的深度學習模型再次點燃了沉寂一時的神經網絡，掀起了深度學習在學術界和工業界的浪潮。

早期的基于DNN的分割模型受限于輸入圖像大小必須固定，為解決該問題，伯克利大學的Long和Shelhamer等提出了用于圖像語義分割的全卷積網絡(FCN)，通過使用卷積代替全連接層，并使用反卷積和上采樣等技術將網絡輸出的密集預測(dense predict)圖映射到原始圖像上，從而實現end-to-end的語義分割，而且DNN模型能夠處理任意大小圖像。增大感受野是獲取圖像語義信息的一個重要的因素，但多次下采樣容易造成圖像細節丟失和邊界偏移等問題。在此基礎上，DeeplabV2模型、DeeplabV3模型、DeeplabV3+模型、PSPNet模型和U-net模型等及其改進模型相繼被提出，從模型架構、上采樣策略、感受野大小等進行改進，尤其Deeplab系列，通過引入空洞卷積技術，分割精度得到了有效提升。

目前基于深度學習的語義分割方法均是基于這種全卷積網絡思想發展而來的，也大大提升了分割的準確性，但大多數算法的提出均是基于公開數據集，在實際場景圖像中常包含一些小目標或復雜場景，給現有的模型帶來了挑戰。近年來，科研人員將注意力模型(Attention model)應用到卷積神經網絡模型上，嘗試從CNN的高層次特征中提取出準確的像素級注意力特征，以從另外一個角度提升分割的效果。其中，深度學習里的注意力模型其實模擬的是人腦的注意力模型，對所關注的事物分配更大的權重。Li等人提出一種金字塔注意力網絡，利用圖像全局的上下文信息來解決語義分割問題，將注意力機制和空間金字塔(spatial pyramid)相結合，來提取準確而密集的特征并獲取像素標簽。Fu等提出了DANet，集成雙路注意力機制的場景分割網絡。最新的語義分割框架由Takikawa等人提出的Gated Shape CNNs(GSCNN)網絡，通過使用Gated Convolutional Layer這種網絡將常規語義網絡流中的信息轉換為對象的形狀信息，從而在典型的網絡架構中增加Shape流，即Gated convolutional layer將shape流和regular流結合起來，最終得到最后的分割結果。

但這種方法增加了模型學習參數的數量，較為復雜。此外，還有交叉注意力模型、卷積塊注意力模型也得到了廣泛的應用。

發明內容

本發明的目的在于提供一種基于反向注意力模型的語義分割方法，用于提高圖像語義分割的性能。

為解決上述技術問題，本發明的技術方案為：一種基于反向注意力模型的語義分割方法，包括以下步驟：

(1)獲取圖像數據集，構建訓練集和測試集；

(2)構建深度語義分割網絡模型，所述深度語義分割網絡模型包括基礎網絡模型、反向注意力模型；

所述基礎網絡模型包括依次連接的若干個卷積模塊和ASPP輸出模塊，所述ASPP輸出模塊用于基礎網絡模型的輸出特征的輸出；

所述反向注意力模型的處理過程為：