[發明專利]基于聚合邊緣特征的圖像語義分割方法及系統

有效

• 申請號: 202210387576.2
• 申請日: 2022-04-14
• 公開（公告）號: CN114463187B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 田輝;劉其開;徐飛;郭玉剛;張志翔
• 申請（專利權）人: 合肥高維數據技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/11;G06K9/62;G06V10/26;G06V10/80;G06V10/774
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明特別涉及一種基于聚合邊緣特征的圖像分割方法，包括：特征提取模塊，用于提取圖像的淺層特征；特征融合模塊，用于對淺層特征進行特征融合；上采樣模塊，用于對融合后的特征進行卷積降維操作，并對降維后的特征圖進行上采樣雙線性插值處理得到與輸入圖尺寸相同的特征圖；顯著目標邊緣圖生成模塊，用于對上采樣模塊輸出的特征圖進行相加，并對相加后的特征圖進行可視化處理得到預測的顯著目標邊緣圖。通過此網絡可以有效的提取顯著目標，以PC屏幕為例，我們的顯著目標就是屏幕的邊緣，而非所有線段，建立該網絡并完成訓練后，訓練好的網絡就能可靠的提取出顯著目標邊緣，提取結果中噪點少，保證后續對屏幕的識別更加準確。

技術領域

本發明涉及圖像處理技術領域，特別涉及一種基于聚合邊緣特征的圖像語義分割方法及系統。

背景技術

目前計算機視覺技術應用于多個場景，包括圖像分類、目標檢測、三維重建以及語義分割等領域。隨著互聯網通信快速發展，智能化產品的競爭力需要更高級語義場景理解的技術突破。因此，語義分割作為計算機視覺的核心問題，能夠幫助越來越多的產品自動高效地理解圖像或影像中相關的知識或語義，從而達到智能化目標，減小人為的交互操作并提升客戶的舒適感。當前這些產品已廣泛應用于自動駕駛、人機交互、計算攝影學、圖像搜索引擎、增強現實等領域。

計算機視覺中語義分割問題本質上是從粗糙推理逐漸到精細化推理的過程。剛開始要追溯到分類問題，即粗略地預測輸入樣本中的物體類別，之后就是目標物體的定位與檢測，這不僅預測物體的類別，并且給出關于各類別空間位置的額外信息，比如中心點或物體區域的邊框。在此基礎上，語義分割可以理解為在檢測領域上的細粒度預測，將測試圖像輸入分割網絡，使預測的熱圖大小和輸入圖像保持一致，通道數等于類別數，分別代表了各空間位置屬于各類別的概率，即可以逐像素地進行分類。

深度學習算法已成為語義分割技術的主流方向，且取得了重要突破和進展。全卷積網絡FCN成為了深度學習技術應用于語義分割問題的基石，它可以接受任意尺寸的輸入圖像，通過若干個反卷積層對編碼網絡的最后一個卷積的特征圖（feature map）進行上采樣解碼，使它恢復到輸入圖像相同的尺寸，從而可以對每一個像素都產生一個預測，同時保留了原始輸入圖像中的空間信息。隨后在FCN網絡的基礎上，第一階段衍生了多種語義分割模型，如編解碼之間具有跳躍連接的對稱網絡U-Net，引入擴張卷積和使用條件隨機場CRF進行后處理優化的DeepLab系列網絡以及結合上下文信息進行特征融合的ParseNet。第二階段隨著Transformer模型結構應用于視覺領域，提升了關鍵區域和感興趣對象的特征辨識能力，在諸多視覺任務中取得較好的表現。

雖然現有的語義分割在幾個常見的應用和數據場景的技術突破越來越大，但在特定場景或應用下，單目標語義分割的效果和實用性有待提高，比如對于電腦PC屏幕的分割場景受部分遮擋以及光照等復雜因素的影響，其分割效果并不是很理想，并且在現有的模型結構下提升有限。

為了解決現有技術中屏幕分割效果不佳的情況，東北大學于2021年7月29日提交的專利申請《基于自適應特征融合的邊緣感知圖像語義分割方法》（申請號：2021108646799），其公開了一種基于自適應特征融合的邊緣感知圖像語義分割方法，是一種以殘差網絡為基礎的新的語義分割方法，是一個雙分支網絡結構模型，包括邊緣分支和語義分支，其中，邊緣分支從語義分支的淺層部分被引出，語義分支采用了編碼解碼結構。在邊緣分支中，加入的多尺度交叉融合操作通過疊加空洞率不同的空洞卷積獲取圖像多尺度特征，同時各個分支之間的交叉融合可以進一步提升多尺度特征的魯棒性，在語義分支中基于空間注意力機制對深層特征和淺層特征進行融合，可以在獲得淺層特征中含有的豐富空間信息的同時，過濾其含有的大量噪聲；最后對語義分支特征和邊緣分支特征進行融合，進一步優化分割效果。此方案中，通過引入雙分支網絡，分別對圖像中目標邊緣特征和目標區域特征進行提取，最后再取交集，這樣可以得到更加準確的分割效果。此案中，所采用的的邊緣分支特征提取方案噪聲很多，比如對PC屏幕進行邊緣提取時，由于屏幕邊緣多為直線，而圖像中其他物體也常出現直線邊緣，故而導致邊緣分支特征提取的不準確，進一步影響最終的目標提取。