[發明專利]一種基于道路影像的遮擋物覆蓋區域填充方法和裝置

在審

• 申請號: 202010427461.2
• 申請日: 2020-05-19
• 公開（公告）號: CN111476213A
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 徐亮;劉湘泉
• 申請（專利權）人: 武漢大勢智慧科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 謝洋

本發明實施例提供一種基于道路影像的遮擋物覆蓋區域填充方法和裝置，與現有的圖像修復補全網絡方法直接對三通道彩色圖像的缺失區域進行推斷補全，其修復結果圖像模糊、修復痕跡明顯相比，本發明將圖像修復工作分解為兩個過程：首先修復原始道路影像中缺失部分的邊緣得到邊緣圖像；在得到了邊緣圖像之后，將修復后獲得的邊緣圖像作為先驗約束進行圖像修復補全網絡，從而實現道路影像的修復工作。修復后得到的道路場景影像中，規則紋理部分得到了很好地重建，符合人們的視覺習慣，可以獲得很好的視覺效果。

技術領域

本發明實施例涉及圖像分類識別技術以及深度學習技術領域，尤其涉及一種基于道路影像的遮擋物覆蓋區域填充方法和裝置。

背景技術

智慧城市上升到國家戰略高度以來，智慧城市建設進程不斷推進。在此背景下，無人駕駛研究如火如荼，智能交通技術迅猛發展。而正射影像數據正是實現這些技術來為現代化城市提供智慧服務的數據基礎。雖然傳統地圖已具備了信息載負、信息傳輸、認知和模擬等基礎功能。但相比之下，正射影像數據則具有更加明顯的優勢：除了具備高幾何精度，它還具備豐富的場景，能夠帶來更高的視覺真實感，而且還可以提供豐富的語義信息，具有可量測、可挖掘的功能。這些優勢可以輔助用戶更好地認知場景，幫助管理者和政策制定者更好地進行管理、執行或政策制定。而道路要素，不論是對于智慧城市建設，還是在正射影像數據范疇內，都是一個至關重要的組成部分。

然而，在多種因素的作用下，實際生產出的道路影像中不可避免地會出現一些不符合應用需求的情況，比如：街道過往、停泊車輛使影像臟亂；建模過程中道路上出現小部分缺失；道路上存在污漬或其他不需要的東西(需要剔除)；行進車輛建模后產生拖影或紋理拉花等。這就會導致生成的道路中有些部位的紋理質量低下甚至存在缺失，或導致場景臟亂不美觀，這些都直接影響到生成的道路效果，間接影響其在下游技術中的應用。

而且，正射影像數據不同于傳統的數字影像，其是由多張影像，根據攝影測量的相關理論方法制作而成的，影像上每個像素的色彩均來自不同的原始影像，影像屬性具特殊性。同時，航拍獲得的下視影像內容聚焦在地表或建筑物的上表面，而當前研究提出的方法大多針對自然場景或人臉影像，專注于地面以上、觀察者視線以內的影像，對于地表道路場景的影像修復方法較少。目前很多人提出的方法對于類似場景下的影像數據并不適用，修復后的影像存在色彩不均一、邊緣不清晰(過度平滑)等問題，造成生成的結果影像失真。此外，就目前來看，在進行影像修復的實際應用時，幾乎所有的圖像修復算法均沒有實現對圖像缺失破損區域的自動修復，需要用戶把需要被修復的圖像區域預先設定好。對于影像中特定的、重復出現的遮擋物的去除沒有實現自動化，人工去除這些遮擋就大大增加了時間和成本。

一般來講，目前基于深度學習的圖像修復方法基本遵循同一個思路，即：通過將大量的原始影像數據作為訓練樣本輸入到一個預先建立的端到端(End-to-End)的深度學習網絡模型中進行訓練，并使得該網絡通過這樣大量的學習得到完整圖像的深層特征；然后將存在缺失區域的缺損影像輸入到該訓練后的網絡中，并期望該網絡能夠依據之前學習好了的完整影像特征預測出缺失區域的內容，以對缺失區域進行符合既有特征分布的修復，并將修復得到的結果進行輸出。在整個流程中，由神經網絡提取的圖像深層特征完全取代了人工設計提取的特征，不需要再人為地規定任何特征。

然而，現有的大多數基于深度學習技術的圖像修復補全網絡工作中，采用直接對三通道彩色圖像的缺失區域進行推斷補全的手段來進行。采用這種思路來進行圖像修復工作時所得到的結果存在兩個比較嚴重的問題：(1)過度平滑導致的圖像模糊問題，這大多是因為采用范數距離來計算重構損失；(2)很難避免較為明顯的修補痕跡，這往往是由于在對抗損失的計算中使用特征損失。即便是將范數距離和特征距離兩者結合使用，結果也只是對上述兩個問題的平衡，并未實質性地解決這些問題。

發明內容

本發明實施例提供一種基于道路影像的遮擋物覆蓋區域填充方法和裝置，用以解決現有的圖像修復補全網絡方法直接對三通道彩色圖像的缺失區域進行推斷補全，訓練中過度平滑導致修復結果圖像模糊，并且修復痕跡明顯的缺陷。