[發明專利]一種基于改進注意力機制的低精度圖像語義分割方法

在審

• 申請號: 202011521916.3
• 申請日: 2020-12-21
• 公開（公告）號: CN112508960A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 陳純玉;吳忻生;陳安;王博
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T5/00;G06N3/04
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了一種基于改進注意力機制的低精度圖像語義分割方法，包括以下步驟：S1、收集不同場景下的圖像構成數據集，將數據集劃分為訓練集、驗證集以及測試集；S2、使用改進后的MobileNet v2網絡對預處理后的訓練集圖片進行特征提取，對不同層的特征圖的分辨率進行上采樣或下采樣；S3、將S2中上采樣或下采樣后的特征圖使用帶有全局注意力特征模塊的GASPP結構聚合多尺度的信息；S4、將MobileNet v2主干網絡提取的低層細節特征和由步驟S3中聚合得到多尺度特征進行融合，并對得到的融合特征進行融合；S5、通過雙線性插值上采樣來對特征圖進行解碼，得到最終的分割圖像。

技術領域

本發明屬于深度學習和計算機視覺領域，具體涉及一種基于改進注意力機制的低精度圖像語義分割方法。

背景技術

21世紀以來，如何實現智能駕駛成為了人們越來越多談論的話題。在面對智能車的普通場景下，語義分割技術是識別城市道路中障礙物、行駛區域、交通信號燈等不同對象的關鍵技術。語義分割是在像素級別上的分類，屬于同一類的像素都要被歸為一類，因此語義分割是從像素級別來理解圖像的。

在使用卷積神經網絡的深度學習方法成為主流以前，TextonForest和基于隨機森林分類器等語義分割方法是用得比較多的方法。這些方法設計簡單，易于實現，但是特征提取環節主要依靠手動實現，分類效果較差。

深度學習方法在語義分割上得到了巨大成功，深度學習方法解決語義分割問題可以概括為幾種思路。

2014年，全卷積網絡(FCN)產生，FCN將網絡全連接層用卷積取代，因此使任意圖像大小的輸入都變成可能，首先將一幅RGB圖像輸入到卷積神經網絡后，經過多次卷積及池化過程得到一系列的特征圖，然后利用反卷積層對最后一個卷積層得到的特征圖進行上采樣，使得上采樣后特征圖與原圖像的大小一樣，從而實現對特征圖上的每個像素值進行預測的同時保留其在原圖像中的空間位置信息，最后對上采樣特征圖進行逐像素分類，逐個像素計算softmax分類損失。

encoder-decoder是基于FCN的架構。encoder由于pooling逐漸減少空間維度，而decoder逐漸恢復空間維度和細節信息。通常從encoder到decoder還有shortcutconnetction(捷徑連接，也就是跨層連接)。

dilated/atrous(空洞卷積)架構，這種結構代替了pooling，一方面它可以保持空間分辨率，另外一方面它由于可以擴大感受野因而可以很好地整合上下文信息。

還有一種對分割結果進行后處理的方法，那就是條件隨機場(ConditionalRandom Fields(CRFs))后處理用來改善分割效果。DeepLab系列文章基本都采用這種后處理方法，可以較好地改善分割結果。

現有網絡如U-Net網絡，VGG網絡等網絡存在有實時性不足等問題，而輕量化網絡如MoblieNet系列等又存在準確性不足等問題。如何在保證圖像分割實時性的同時提高準確度，是本發明解決的重要問題。

發明內容

本發明的目的在于提供一種基于改進注意力機制的低精度圖像語義分割方法，能夠實現在低精度的網絡中提高圖像分割準確性。

本發明目的至少通過以下技術方案之一實現。

一種基于改進注意力機制的低精度圖像語義分割方法，包括以下步驟：

S1、收集不同場景下的圖像并進行預處理，對圖像進行標注，構成數據集，將數據集劃分為訓練集、驗證集以及測試集；

S2、使用改進后的MobileNet v2網絡對預處理后的訓練集圖片進行特征提取，對不同層的特征圖的分辨率進行上采樣或下采樣；

S3、將步驟S2中上采樣或下采樣后的特征圖使用帶有全局注意力特征模塊的GASPP結構網絡聚合多尺度的信息；