[發明專利]一種基于深度學習的注意力機制的語義分割的方法

在審

• 申請號: 202011194569.8
• 申請日: 2020-10-30
• 公開（公告）號: CN112287940A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 王曉華;李志正;張蕾;王文杰
• 申請（專利權）人: 西安工程大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 涂秀清

本發明公開了一種基于深度學習的注意力機制的語義分割的方法，具體步驟按照以下實施；首先獲取標準數據集預處理；然后將標準數據集圖像信息存儲并導入深度神經網絡模型中，具體框架采用DeepLabv3+圖像語義分割網絡，將MS?CAM模型與DeepLabv3+結合，解決尺度不一致問題，利用AFF模塊解決上下文集合和初始集合融合問題，將MS?CAM模塊嵌入到AFF或者多次迭代的iAFF模塊，解決語義特征融合和尺度不一致問題具有良好的效果。本發明在DeepLabv3+圖像語義分割技術下，使用尺度不同的兩個分支來提取通道注意力權重，達到因尺度變化和小物體而引起的識別問題。

技術領域

本發明屬于人工智能技術領域，涉及一種基于深度學習的注意力機制的語義分割的方法。

背景技術

隨著計算機技術的迅速發展，基于計算機平臺的機器學習和計算機視覺技術成為了現代人工智能的主要研究方向，而計算機視覺作為人工智能的重要分支，對于場景理解的重要性越來越突出，如何精確且高效的從現實場景中推理出相關知識或者語義，并應用到現實場景成為了一種必然趨勢。不同于傳統的基于灰度、顏色、紋理和形狀等特征的圖像分割問題，圖像語義分割是從像素級理解圖像，從而確定圖像中像素對應的目標分類。

針對目前卷積神經網絡應用于語義分割中其中主要的問題就是池化層問題(poollayers)，池化層增加了視野，同時也丟失了精確的位置信息，這與語義分割需要的準確像素信息相矛盾。針對這個問題一般有兩種類型的解決方法，一種是編碼解碼器(encoder-decoder)網絡結構，編碼器使用池化層逐漸減少空間維度，解碼器逐漸恢復目標對象的細節和空間維度，通常從編碼器到解碼器的快捷連接，幫助解碼器更好地恢復對象細節；另一種是取消池化層并使用空洞卷積。由于對象的比例變化是計算機視覺中的關鍵挑戰，緩解因尺度變化和小物體而引起的語義分割問題是現有技術研究的關鍵。

發明內容

本發明的目的是提供一種基于深度學習的注意力機制的語義分割的方法，為了緩解因尺度變化和小物體而引起的語義分割問題。

本發明所采用的技術方案是，一種基于深度學習的注意力機制的語義分割的方法，具體步驟按照以下實施；

步驟1，獲取標準數據集，進行預處理；

步驟2，將步驟1預處理后的標準數據集圖像信息存儲并導入深度神經網絡模型中，通過DeeplabV3+引入的編碼-解碼結構和帶空洞卷積的金字塔池化模塊，以端到端的方式對網絡進行訓練，通過ASSP引入多尺度信息，通過Decoder模塊將底層特征和高層特征進行融合，提升分割邊界準確度；

步驟3，結合多通道注意力模塊，沿通道維度聚合尺度的上下文信息，強調分部大型對象，并在全局范圍內突出本地小物體信息，采用注意力特征融合模塊進行特征融合，將現有特征算子與擬議的AFF模塊一同放置，通過迭代集成的AFF框架形成iAFF框架；

步驟4，采用條件隨機場對語義分割的預測結果進行特征優化，將低層圖像信息和逐像素分類結果相結合；

步驟5，調整解碼端輸出特征的通道數并激活，即獲取最終的預測結果。

本發明的特點還在于，

步驟1具體為：

步驟1.1，采用DeepLabv3+語義分割網絡適用的數據集PASCAL VOC 2012；

步驟1.2，下載Deeplabv3+模型常用的標準PASCALVOC 2012數據集；

步驟1.3，預處理PASCAL VOC 2012數據集，PASCAL VOC 2012包括原始數據集和增強數據集兩種版本的數據集，采用增強數據集的數據標簽 label是.mat格式的文件，將.mat格式轉換為.png格式的圖片文件，轉化后的數據圖片是8-bit的灰度圖；