[發明專利]一種基于多級特征信道優化編碼的圖像輪廓檢測方法

有效

• 申請號: 201910080334.7
• 申請日: 2019-01-28
• 公開（公告）號: CN109903301B
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 范影樂;方琳靈;周濤;武薇;佘青山
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/13
• 分類號: G06T7/13
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于多級特征信道優化編碼的圖像輪廓檢測方法，其特征在于，該方法具體包括以下步驟：

步驟1:獲取輸入圖像I(x,y)的初級輪廓響應；

首先計算輸入圖像I(x,y)的Gabor濾波器響應，結果記為如式(1)～(4)所示；

式中：表示圖像I(x,y)經過Gabor濾波器在尺度m，方向θ＝nπ/K上得到的Gabor特征信息；σ_x,σ_y分別表示Gabor小波基函數沿x軸和y軸的標準偏差；ω為高斯函數的復調制頻率；以ψ(x,y)為母小波，通過對其進行尺度和旋轉變換，得到Gabor濾波器ψ_m,n(x,y)；其中，u,v是ψ_m,n(x,y)的模板尺寸；m＝0,...,S-1，n＝0,...,K-1，S和K分別表示尺度數和方向數；α為ψ(x,y)的尺度因子，式中：α1；

基于相似度指標SSIM，計算Gabor濾波器對應的最優尺度m_opt和方向θ_opt，如式(5)～(8)所示；

其中表示濾波器響應與已知的輪廓標記圖像I^mark之間的相似度，當取極大值時，獲得最優尺度m_opt和方向θ_opt；和分別表示與I^mark之間在亮度、對比度和結構上的定量相似性度量；u_Gabor、u_mark分別表示圖像和I^mark的亮度均值，δ_Gabor、δ_mark分別表示圖像和I^mark的亮度標準差，分別表示圖像和I^mark的亮度方差，δ_G,m代表圖像和I^mark的亮度協方差；為了避免由于式(6)～(8)中的各項分母接近零值時所引起的系統不穩定，C₁、C₂和C₃設置為某個正常數，小于濾波器響應亮度均值的3％；

將m_opt和θ_opt作為非下采樣輪廓波變換的頻率分離參數，非下采樣輪廓波變換對圖像I(x,y)分解得到輪廓子圖由于非下采樣輪廓波變換分解過程尺寸保持不變，因此將與I(x,y)直接進行像素級的特征增強融合操作，最終獲得輸入圖像I(x,y)的初級輪廓響應E(x,y)，如式(9)和(10)所示；

式中，表示尺度m_opt和方向θ_opt參數條件下的非下采樣輪廓波變換，表示對應的非下采樣輪廓波變換輪廓子圖；t表示輪廓子圖的亮度均值；max表示取最大值函數，下同；

步驟2：將步驟1獲得的初級輪廓響應E(x,y)，傳輸至全卷積神經網絡，獲得分別由FCN-32S、FCN-16S、FCN-8S網絡單元訓練得到的熱圖F⁵，F⁴，F³；全卷積神經網絡分為特征編碼器和特征解碼器兩部分，整個網絡包含8個卷積塊，5個最大池化層，5個上采樣和2個卷積層；具體結構如下：

1.特征編碼器

以VGG-16作為基礎網絡進行全卷積神經網絡的優化改造；為實現網絡計算速度的提高，增強泛化能力，在卷積塊(3×3、1×1、3×3)結構中，每兩個3×3的卷積核中加入1×1卷積核；為加強學習圖像特征的非線性和平移不變性，每層卷積模塊后面加入最大池化層；同時E(x,y)經過池化層Max pool5處理后，尺寸變成I(x,y)的1/32，記為表示經過FCN-32S網絡單元訓練后輸出的特征圖；E(x,y)經過池化層Max pool4和卷積層1×1，尺寸變成I(x,y)的1/16，記為表示經過FCN-16S網絡單元訓練后輸出的特征圖；同理，E(x,y)經過池化層Max pool3和卷積層1×1，尺寸變成I(x,y)的1/8，記為表示經過FCN-8S網絡單元訓練后輸出的特征圖；其中每個池化層輸出利用Relu激活函數實現稀疏編碼功能；特征編碼器包括如下十三層結構，其中步長stride均為1：

第一層，卷積層CONV1-1，通道個數8，卷積核大小3×3；CONV1-2，通道個數8，卷積核大小為3×3；

第二層，最大池化層Max pool1，池化區域大小為2×2；

第三層，卷積層CONV2-1，通道個數16，卷積核大小為3×3；CONV2-2，通道個數16，卷積核大小為1×1；CONV2-3，通道個數16，卷積核大小為3x3；

第四層，最大池化層Max pool2，池化區域大小為2×2；

第五層，卷積層CONV3-1，通道個數32，卷積核大小為3×3；CONV3-2,通道個數32，卷積核大小為1×1；CONV3-3，通道個數32，卷積核大小為3×3；

第六層，最大池化層Max pool3，池化區域大小為2×2；

第七層，卷積層CONV4-1，通道個數64，卷積核大小為3×3；CONV4-2，通道個數64，卷積核大小為1×1；CONV4-3，通道個數64，卷積核大小為3×3；

第八層，最大池化層Max pool4，池化區域大小為2×2；

第九層，卷積層CONV5-1，通道個數128，卷積核大小為3×3；CONV5-2，通道個數128，卷積核大小為1×1；CONV5-3，通道個數128，卷積核大小為3×3；

第十層，最大池化層Max pool5，池化區域大小為2×2；

第十一層，卷積層CONV6，通道個數256，卷積核大小為1×1；

第十二層，卷積層CONV7，通道個數256，卷積核大小為1×1；

第十三層，卷積層CONV8，通道個數1，卷積核大小為1×1；

2.特征解碼器

初級輪廓響應E(x,y)經過特征編碼不斷縮小為原來的1/8，1/16，1/32，獲得的特征圖分辨率低，因此加入特征解碼器，對低分辨率的特征圖進行雙線性上采樣操作；對于經過32倍下采樣的圖像利用32倍雙線性上采樣得到與I(x,y)一樣大小的熱圖，記為F⁵；在池化層Max pool4后加入調節特征圖像通道個數的預測卷積層1×1，輸出得到圖像同時把32倍下采樣的圖像進行兩倍上采樣，所得結果與對應元素相加，再利用16倍雙線性上采樣得到與I(x,y)一樣大小的熱圖，記為F⁴；在池化層Max pool3后加入調節特征圖像通道個數的預測卷積層1×1，輸出得到圖像同時把16倍下采樣的圖像進行兩倍上采樣，所得結果與對應元素相加，再利用8倍雙線性上采樣得到與I(x,y)一樣大小的熱圖，記為F³；

步驟3：對步驟2獲得的熱圖F⁵，F⁴，F³，利用max函數取各像素上的最大像素值，融合得到圖像輪廓掩模圖F，再經過Relu激活函數作用，與已知的輪廓標記圖像I^mark進行損失運算，結果記為loss，并采用隨機梯度下降，不斷迭代更新各個網絡層的參數，當loss值小于閥值ε時訓練結束，ε設為訓練圖像樣本像素總數的1～3％，獲得訓練后的全卷積神經網絡；

步驟4：將待檢測圖像經過步驟1～3所構建的Gabor濾波器、非下采樣輪廓波變換以及訓練后的全卷積神經網絡，得到圖像輪廓掩模圖，與待檢測圖像進行點乘操作，最終獲得圖像輪廓檢測結果。