[發明專利]一種小目標敏感的雙通道卷積神經網絡語義分割方法

有效

• 申請號: 201810706675.6
• 申請日: 2018-07-02
• 公開（公告）號: CN109145939B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 楊明;胡太
• 申請（專利權）人: 南京師范大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 施昊

本發明公開了一種小目標敏感的雙通道卷積神經網絡語義分割方法，步驟為：使用Caffe深度學習框架搭建非加權學習網絡和加權學習網絡；對于兩個通道的網絡，分別使用雙階段訓練方式對網絡進行訓練得到對應的語義分割模型；以驗證集圖像作為輸入，通過兩個語義分割模型得到兩個通道的輸出評分圖，利用不同的模型融合算法對兩個通道的輸出評分圖進行融合，并根據特定的評價指標選擇最優的模型融合算法；根據語義分割模型和選擇的最優模型融合算法來分割測試圖像。本發明能夠保證在數據集整體分割精度較優的前提下，對圖像中存在的小目標區域較為敏感。

技術領域

本發明屬于圖像處理技術領域，特別涉及了一種小目標敏感的雙通道卷積神經網絡語義分割方法。

背景技術

圖像語義分割是計算機視覺三大任務之一，它的目標是對圖像中的每個像素點做類別標記，得到一副圖像的語義分割圖。從傳統的圖像分割角度來看，圖像語義分割是在語義層面上將圖像分割成多個區域，然后為每個區域分配合適的類別標簽。目前，語義分割在自動駕駛、實時道路監控、自動虛擬試衣和醫療疾病系統等方面都有廣泛的應用。在深度學習興起之前，語義分割的主要方法是使用條件隨機場模型來建立概率圖模型，近幾年來，深度卷積神經網絡由于具有很強的學習能力，計算機視覺領域逐漸趨于成熟。同時隨著高速計算設備GPU的發展，解決語義分割問題的主流框架已經被深度學習方法所取代。

盡管深度神經網絡在圖像理解方面精度有了很大的提高，但在這些復雜場景下仍然面臨諸多挑戰，如較難分割小目標區域或目標區域的條狀部位，即當原始圖像通過全卷積神經網絡得到具有多個類別通道特征圖之后，由于步長大于等于2的池化層和卷積層存在，分割結果的圖像尺寸縮小了若干倍。如果這樣的池化層或卷積層達到一定的個數，小目標或目標的條狀部位在網絡的深層輸出特征中將會消失。

現有較優的語義分割算法通常基于全卷積神經網絡(FCN)框架，FCN的訓練過程包括前向傳播、損失值計算、反向傳播和SGD更新參數。FCN一般使用交叉熵損失函數作為網絡的損失層，它對圖像所有像素點的誤分類損失值求和得到總的損失值。但是，小目標所在區域內包含的像素點數目相比其他目標包含的像素點數目要少很多，當小目標區域內的像素點分類錯誤時并不會對總的損失產生太大的影響，因此這樣的損失函數不適用于小目標的分割。

發明內容

為了解決上述背景技術提出的技術問題，本發明旨在提供一種小目標敏感的雙通道卷積神經網絡語義分割方法，將小目標敏感的神經網絡分割結果和標準的神經網絡分割結果進行融合，解決分割小尺寸目標和其他目標精度不平衡的問題。

為了實現上述技術目的，本發明的技術方案為：

一種小目標敏感的雙通道卷積神經網絡語義分割方法，包括以下步驟：

(1)使用Caffe深度學習框架搭建兩個通道的卷積神經網絡：非加權學習網絡和加權學習網絡；所述非加權學習網絡用于對圖像中目標的主體部位進行分割，加權學習網絡用于對圖像中小目標進行分割；

(2)對于所述兩個通道的網絡，分別使用雙階段訓練方式對網絡進行訓練得到對應的語義分割模型；

(3)以驗證集圖像作為輸入，通過步驟(2)得到的兩個語義分割模型得到兩個通道的輸出評分圖，利用不同的模型融合算法對兩個通道的輸出評分圖進行融合，并根據特定的評價指標選擇最優的模型融合算法；

(4)在測試階段，根據步驟(2)得到的語義分割模型和步驟(3)選擇的最優模型融合算法來分割測試圖像。

進一步地，在步驟(1)中，所述非加權學習網絡與加權學習網絡的網絡主體結構相同，利用Attention模型結合多尺度分割網絡作為網絡主體結構；非加權學習網絡的損失函數采用普通的交叉熵損失函數，加權學習網絡的損失函數采用小目標敏感的交叉熵損失函數，小目標敏感的交叉熵損失函數將圖像中的小目標區域的分類損失和其他區域的分類損失分開考慮，使用特定權值因子對小目標區域的分類損失進行增強，并與其他目標區域的分類損失累加得到總損失值。