[發明專利]一種基于編碼和解碼結構的雙通道輸出輪廓檢測方法

有效

• 申請號: 202010553252.2
• 申請日: 2020-06-17
• 公開（公告）號: CN111680706B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 陳利;王曉東;蔡欣展;劉艷艷
• 申請（專利權）人: 南開大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/80;G06V10/82;G06N3/0464;G06N3/0455;G06N3/084
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出一種基于編碼和解碼結構的雙通道輸出輪廓檢測方法。編碼階段通過改進后的VGG16網絡提取圖像特征信息，解碼階段自底向上融合不同尺度特征信息，并使用同一標簽對兩個通道的輸出輪廓圖進行深度監督。本發明通過自底向上逐層解碼的方式融合不同尺度特征圖，提取的圖像特征信息更加豐富；在特征融合階段加入通道注意力結構，并且使用子像素卷積進行特征圖采樣；設計了合適的損失函數以解決訓練樣本不平衡的難點；使用數據增強的方法對數據集進行了擴增，增加了模型的泛化能力。本發明能夠有效地提取BSDS500公共數據集和自定義木雕輪廓檢測數據集圖像的目標輪廓且檢測輪廓線比較精細。

技術領域

本發明屬于圖像處理與計算機視覺領域，涉及一種基于編碼和解碼結構的雙通道輸出輪廓檢測方法，本質上就是利用卷積神經網絡對圖像像素點進行二分類的問題。

背景技術

輪廓檢測是計算機視覺領域中的核心任務，通過數字圖像豐富的特征信息提取圖像中目標輪廓，是目標檢測、語義分割、缺陷識別等高級視覺任務的基礎。由于光照、攝影設備精度、目標輪廓復雜程度等方面的原因，精確提取圖像目標輪廓仍是一項具有挑戰性的任務。

傳統的邊緣檢測算子方法是通過尋找數字圖像中亮度明顯變化的像素點進行輪廓檢測。基于統計學、機器學習的輪廓檢測方法將圖像像素點鄰域的顏色、紋理以及梯度等特征信息融合，再使用支持向量機、隨機森林等分類算法對像素點進行分類。上述兩種方法都是基于圖像局部信息進行特征提取，檢測精度較低且很難區分目標輪廓線與背景邊緣線。

卷積神經網絡是目前人工智能領域的研究熱點，通過卷積神經網絡實現圖像目標輪廓檢測本質上就是對圖像像素點進行輪廓與非輪廓二分類。構造端到端的卷積神經網絡對圖像目標輪廓進行監督學習，能夠學習到豐富的圖像全局特征，相較于傳統的邊緣檢測算子和機器學習方法更適用于輪廓檢測任務。現階段基于卷積神經網絡的輪廓檢測算法主要存在檢測的輪廓線粗糙、定位不準以及訓練樣本不平衡等難點。

發明內容

針對現階段基于卷積神經網絡的輪廓檢測模型的不足，本發明從網絡結構和損失函數兩方面對現階段主流的輪廓檢測模型進行分析與改進，提出了一種基于編碼和解碼結構的雙通道輸出輪廓檢測模型，并應用于自定義木雕圖案輪廓檢測任務。

本發明提出的基于編碼和解碼結構的雙通道輸出輪廓檢測模型由特征提取階段和特征解碼階段構成，特征提取階段是利用卷積神經網絡對圖像進行特征提取，特征解碼階段是對特征提取階段輸出的小尺度特征圖進行逐層二倍上采樣運算，并與特征提取階段同一層級特征圖進行特征通道融合，將特征圖恢復到原始圖像尺度，最后采用相同的標簽輪廓圖和自定義損失函數對兩個通道輸出的特征圖進行監督訓練，將輸出的特征圖進行像素點的輪廓、非輪廓二分類。

本發明技術方案如下：

一種基于編碼和解碼結構的雙通道輸出輪廓檢測方法，具體的實現步驟如下：

本發明提出的輪廓檢測模型主要由特征提取模塊、殘差融合單元和特征解碼模塊構成。

一、特征提取模塊：通過三個步長為1、卷積核大小為3的標準卷積提取圖像全局特征信息，并使用批量歸一化對數據進行規范和LeakRelu激活函數增加模型非線性表達能力，然后使用子像素卷積的反向運算進行下采樣運算，降低特征圖尺度。

二、殘差融合單元：殘差融合單元首先將特征提取塊中的各層特征圖進行特征疊加融合，然后通過一個殘差連接與標準卷積運算后的特征圖進行特征疊加融合，最后使用逐點卷積運算，降低特征圖通道數量。

三、特征解碼模塊：通過子像素卷積對上一層輸出特征圖進行上采樣運算，并將上采樣后的特征圖與特征提取階段同層級的輸出特征圖進行特征通道融合，然后使用改進的通道注意力結構對融合后的特征圖通道進行加權，最后再使用逐點卷積運算降低特征圖通道數。

本發明所采用的損失函數融合Focal?Loss和Dice?Loss兩種損失函數，通過實驗設置合理的權重，一定程度上解決了正負樣本不平衡的問題。