[發明專利]一種基于優化卷積神經網絡的圖像語義分割方法

在審

• 申請號: 202011411348.1
• 申請日: 2020-12-04
• 公開（公告）號: CN112381832A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 馬國軍;孫永霜;夏健
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 徐澍

本發明公開了一種基于優化卷積神經網絡的圖像語義分割方法，通過自身迭代優化后的卷積神經網絡對圖像進行圖像語義分割，對視頻圖像的每次處理都會優化卷積神經網絡，從而提高圖像語義切割的效果。本發明對優化的圖像樣本經過卷積神經網絡的多次分割，數量會逐漸龐大，并且先訓練后驗證，再訓練再驗證，如此反復得到最終的卷積神經網絡，訓練數據和驗證數據之間相當于存在母體和字體關系，既不會產生因訓練數據差異較大導致的精度降低問題，而且還由于訓練數據之間的漂移較小，有助于提升精度。

技術領域

本發明涉及計算機視覺技術領域，特別是涉及一種基于優化卷積神經網絡的圖像語義分割方法。

背景技術

隨著計算機視覺技術的發展，數字圖像處理技術被應用到各個領域，如實時定位系統、監控、安防、支付安全等等。數字圖像處理包括圖像增強、去燥、分割等等。

圖像語義分割是圖像理解的基礎性技術，目前已被應用于真三維顯示、無人駕駛以及輔助醫療等領域，也是計算機視覺方向中的研究熱點之一。其主要任務是將圖像中的每一個像素點進行分類，確定每個點的類別，從而進行區域劃分。

現有技術中，利用卷積神經網絡(Convolutional Neural Network,CNN)進行語義分割是常用的技術手段，而卷積神經網絡的建立在整個過程中非常重要。語義分割(應用于靜態2D圖像、視頻甚至3D數據、體數據)是計算機視覺的關鍵問題之一。但是由于圖像樣本數據之間關聯性不夠，漂移量大，導致卷積神經網絡進行圖像語義分割的精度不高，誤差較大。

發明內容

針對現有技術中存在的問題與不足，提供了一種基于優化卷積神經網絡的圖像語義分割方法。

本發明提供了一種基于優化卷積神經網絡的圖像語義分割方法，具體操作步驟如下：

步驟1、從視頻中截取具有復雜場景的一張彩色圖像，作為樣本圖像；

步驟2、對樣本圖像進行預處理，包括歸一化操作、圖像伸縮操作，通過特征編碼器提取預處理之后樣本圖像的圖像特征；圖像增強模型基于所述圖像特征對樣本圖像進行圖像增強，得到增強樣本圖像；

步驟3：對增強樣本圖像通過已優化的卷積神經網絡進行圖像語義分割形成初始分割樣本集，其中，圖像語義分割具體方法為當前分割數量為前一次分割數量的多倍；

步驟4：以迭代法的方式對已優化的卷積神經網絡進行再次訓練，具體方法為：

以間隔的方式獲取初始分割樣本集中的初始分割樣本作為當前初始分割樣本；與當前初始分割樣本相鄰的下一個初始分割樣本作為下一初始分割樣本；

用當前初始分割樣本對已優化的卷積神經網絡進行訓練，得到訓練后的卷積神經網絡，用下一初始分割樣本對訓練后的卷積神經網絡進行驗證，得到優化的卷積神經網絡；

步驟5：將經步驟4獲得優化的卷積神經網絡作為已優化的卷積神經網絡，返回執行步驟1直至結束圖像處理過程。

進一步地，所述步驟2中，所述特征編碼器為ResNet-101網絡，第一模塊使用的是3x3卷積核，輸入圖像的分辨率是本模塊輸出的4倍；第二模塊使用的是3x3卷積核，輸入圖像的分辨率是本模塊輸出的8倍。

進一步地，所述步驟2中，所述特征編碼器為ResNet-101網絡，其中，第三模塊使用的卷積核在3X3卷積核的基礎上疊加上3X1卷積核以及1X3卷積核。

進一步地，所述特征編碼器為ResNet-101網絡，其中，第4模塊至第7模塊使用了空洞卷積作為卷積核,卷積核的尺寸都為3x3,步長分別為4,8,16。

進一步地，所述步驟3中，圖像語義分割具體方法為當前分割數量為前一次分割數量的1倍。

本發明相對于現有技術，具有以下有益效果：