[發明專利]基于塊推薦網絡的快速高分辨率圖像分割方法

有效

• 申請號: 201911365709.0
• 申請日: 2019-12-26
• 公開（公告）號: CN111160351B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 曲延云;吳桐;雷珍珍;李翠華;謝源
• 申請（專利權）人: 廈門大學
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V10/26;G06V10/774;G06V10/77;G06V10/82;G06T7/11
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森;曾權

基于塊推薦網絡的快速高分辨率圖像分割方法，涉及圖像處理。1)構建全局分支與局部精細化分支；2)將原始高分辨率圖像下采樣,均勻劃分成若干圖像塊；3)將下采樣圖像輸入全局分支中得全局分割特征圖，均勻劃分成若干特征塊；4)將下采樣圖像輸入塊推薦網絡中獲取推薦塊；5)根據推薦塊標號取出推薦塊，與全局分割特征圖相應特征塊進行顯著性操作，將結果輸入局部精細化分支；6)局部精細化特征塊與全局分割特征圖相應位置融合，輸出融合后的分割結果作為總體分割結果；7)分割結果與真實標簽計算誤差損失，訓練網絡，更新網絡參數；8)取任意測試圖像，重復步驟1)～6)，得到分割預測結果。分割準確，計算資源消耗低，推理時間少。

技術領域

本發明涉及圖像處理，尤其是涉及一種基于塊推薦網絡的快速高分辨率圖像分割方法。

背景技術

在人工智能被認為是第四次工業革命以來，全球頂尖、最有影響力的技術公司如google、facebook等都將目光轉向AI。神經網絡在計算機視覺，自然語言處理等方面的貢獻是毋庸置疑的，隨著算法的不斷完善，部分垂直領域的研究已經落地應用。在計算機視覺領域，目前神經網絡的應用主要有圖像識別、目標定位與檢測、語義分割等。圖像識別就是告訴你圖像是什么，目標定位與檢測告訴你圖像中目標在哪里，語義分割則是從像素級別回答上面兩個問題。隨著深度學習的興起，語義分割取得了顯著的進步。近年來，更多的焦點轉移到通過實現對特殊應用如醫學圖像診斷、城市規劃和道路提取以及無人車對道路的識別等問題上來。這些特殊的應用往往是包含2MB高分辨率或4MB超高分辨率圖像，若將原圖直接輸入到流行的語義分割模型中，標準的GPU設備很難承受如此巨大的計算負擔，并且要花費大量時間。若采取簡單地將原圖下采樣再輸入到流行的語義分割模型中，則會損失過多的細節信息，很難得到好的分割結果。因此，如何對高分辨率以及超高分辨率圖像的語義分割取得計算資源消耗、推理速度和準確率三者之間權衡成了一個炙手可熱的研究方向。

為了解決高分辨率圖像的語義分割顯存負載過大的問題，一般采取三種解決方案：一是通過下采樣圖像的全局方法，二是在原圖上裁剪塊，“分而治之”思想的局部方法，三是采取以上兩種方式互補的全局局部方法。全局方法由于缺少細節特征而分割不準確，局部方法忽略整體的指導信息而常常錯誤分類。因此，有效結合兩者的全局局部方法才是高分辨率語義分割的不二選擇。屬于全局局部方法的最新方法GLNet(Chen,W.et.al.Collaborativeglobal-local networks for memory-efficient segmentationofultra-high resolution images.In Proceedings of the IEEE ConferenceonComputer Vision and Pattern Recognition,2019.8924–8933)使用全局分支G-branch和局部分支L-branch提取全局特征和局部特征，在兩個分支的同一層面進行特征圖的雙向組合。實驗發現該方法在超高分辨率的圖像分割方面取得了較好的結果，達到分割精度與顯存消耗之間的平衡。然而，該方法平等處理每個圖像塊，將每個圖像塊的局部特征與全局特征進行雙向融合，造成推理時間的極大消耗。

發明內容

本發明的目的在于針對高分辨率以及超高分辨率圖像的語義分割難以取得計算資源消耗、推理速度和準確率三者之間權衡的問題，提供一種可對高分辨率及超高分辨率圖像進行快速準確且低顯存消耗的基于塊推薦網絡(Patch Proposal Network,PPN)的快速高分辨率圖像分割方法。

本發明包括以下步驟：

1)使用現有的語義分割框架分別構建全局分支G-branch與局部精細化分支R-branch；

2)將原始高分辨率圖像下采樣成下采樣圖像,將原始高分辨率圖像均勻地劃分成若干個圖像塊；

3)將下采樣圖像輸入全局分支中獲得全局分割特征圖，然后使用與步驟2)相同的劃分方式，將全局分割特征圖均勻地劃分成若干個特征塊。