[發明專利]一種基于深度學習的暗視覺及低照度圖像邊緣檢測方法

在審

• 申請號: 202210366311.4
• 申請日: 2022-04-08
• 公開（公告）號: CN114693712A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 趙志強;徐曉文;高新政;陶于祥;陳霖;王正軍;崔一輝;王昆
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T5/50;G06K9/62;G06N3/04;G06N3/08;G06V10/80;G06V10/74;G06V10/82
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王詩思

本發明公開一種基于深度學習的暗視覺及低照度圖像邊緣檢測方法，所述方法包括獲取暗視覺/低照度圖像；將暗視覺/低照度圖像輸入到預訓練后的初級子網中，提取出多個邊緣特征圖，并形成第一邊緣特征；將暗視覺/低照度圖像與第一邊緣特征輸入到邊緣增強模塊中；將邊緣增強后的暗視覺/低照度圖像輸入到次級子網中，提取出多個邊緣特征圖；將初次子網產生的第一邊緣特征和多個邊緣特征圖與次級子網產生的多個邊緣特征圖進行特征圖融合，得到暗視覺/低照度圖像的邊緣檢測效果；本發明可在訓練過程中，結合實時參數，對暗視覺/低照度圖像的邊緣增強效果進行動態調整，能有效地拉伸圖像灰度級分布范圍，較好地保留暗視覺/低照度圖像的邊緣特征。

技術領域

本發明涉及圖像處理、計算機視覺及深度學習領域，尤其是一種基于深度學習的暗視覺及低照度圖像邊緣檢測方法。

背景技術

邊緣檢測設計常用于圖像中目標物體的形狀或者種類的定位和識別，是圖像處理、圖像分析、模式識別、計算機視覺以及人類視覺的基本步驟之一，廣泛應用于視覺導航、醫學診斷等多個領域。

現有的邊緣檢測方法可分為傳統邊緣檢測算法和基于深度學習的邊緣檢測算法。傳統邊緣檢測算法，例如Canny算子、Sobel算子等，該類方法僅依賴圖像梯度變化等單尺度特征進行邊緣檢測，在處理類似于暗視覺或者低照度圖像這樣低對比度和低梯度的高噪聲圖像時，會出現邊緣模糊和邊緣大面積丟失等問題。深度學習能自動建立圖像底層特征間的依賴關系，將底層像素信息抽象成包含多尺度特征的語義和概念，結合多尺度特征的相關性來篩選邊緣，例如DeepEdge、HED和CED等方法，不需要手動設計，僅通過修改子網結構就能獲得不同尺度的邊緣特征。相比傳統方法，基于深度學習的邊緣檢測算法的準確率更高，且泛化能力更強。

在暗視覺或者低照度場景下，由于周圍環境亮度較低，采集的圖像像素差異小，噪聲大，邊緣信息容易被強背景淹沒。執行該類圖像的邊緣檢測任務，要求算法對像素差異有良好的感知能力。而在現有的邊緣檢測方法中，關于正常光照圖像的研究有很多，卻很少有人針對上述問題提出完善的解決方案。且現有的邊緣檢測數據集所包含場景存在局限性，導致訓練出來的邊緣檢測模型在暗視覺或者低照度環境下難以獲得良好的表現，因此需要進一步探索適用于暗視覺及低照度環境的邊緣檢測方法。

發明內容

有鑒于此，為了提升檢測模型對像素差異的敏感度，本發明在邊緣檢測模型中引入自注意力機制。卷積主要通過大小受限的感受野和權重共享來感受特征，因此卷積天生帶有局部性和平移等效性，無法獲取到圖像的全局語境，全局語境對目標特征的辨認必不可少，而自注意力機制通過引入像素的位置信息，使特征之間具有長程交互能力，即每個位置都有關于同一圖像中任何其他特征的信息，通過替換或者與卷積結合，可以獲得比常規卷積更大的接受域，增強卷積的特征提取能力。提取不同尺度的邊緣特征圖進行融合，可以避免特征隨著網絡的加深而被丟失，有利于較好地保留邊緣細節。對于輸出多尺度特征圖的邊緣檢測模型來說，隨著網絡深度的逐漸增加，特征圖的感受野不斷變大，各個模塊所關注邊緣特征的尺度不同，使用不同尺度的特征圖和同一個邊緣label計算損失是不合理的，因此在所述邊緣檢測方法中，引入了通道自注意力機制來學習不同階段的邊緣特征對應的邊緣尺度。同時，改進了加權交叉熵損失，在原本的加權交叉熵損失中，網絡輸出的多個單尺度邊緣特征和邊緣標簽之間的損失會按照手工設定的權重進行融合，而不合理的手工權重會對模型的檢測效果產生較大的影響，為了避免這一問題，本發明先利用Dice系數計算出單尺度特征和邊緣標簽之間的相似度，并將相似度作為多尺度邊緣損失的融合權重。其次，為了增加邊緣像素和非邊緣像素的梯度差異，本發明提出了基于像素相似度的邊緣特征增強方法。先利用層數較少的神經網絡從暗視覺/低照度圖像中提取出初級邊緣特征圖，然后通過計算像素歐氏距離來衡量初級邊緣特征圖和暗視覺/低照度圖像的像素相似度，在暗視覺/低照度圖像中，和邊緣特征圖相似度最高的部分是暗視覺/低照度圖像中的邊緣特征，以相似度作為評價標準，那么暗視覺/低照度圖像中的邊緣特征會獲得較高的相似度分數，非邊緣特征會獲得較低的相似度分數。將相似度矩陣和暗視覺圖像融合，可以增強暗視覺圖像中的邊緣特征，抑制非邊緣特征。