[發明專利]圖像修復方法和裝置

有效

• 申請號: 202110030992.2
• 申請日: 2021-01-11
• 公開（公告）號: CN112700388B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 魯繼文;周杰;孫洪一
• 申請（專利權）人: 清華大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓?；?/td>

本申請提出一種圖像修復方法和裝置，涉及計算機視覺技術領域，其中，方法包括：獲取包括擦除部分區域的原始圖片，并使用預設智能體對擦除部分區域進行分類處理，獲取擦除區域類型概率圖；獲取擦除部分區域中的待修復目標區域輸入自適應局部圖像修復網絡中，獲取局部圖像修復結果；根據局部圖像修復結果和擦除區域類型概率圖進行加權求和，獲取局部修復結果，根據局部修復結果更新所述原始圖片；重復上述過程，直到擦除部分區域完全修復，獲取修復圖像。由此，通過一個感知被遮區域類型的智能體和自適應的局部修復網絡的串聯進行逐步的圖像修復，從而提高模型對大量不規則區域被擦除時進行修復的準確性和效率。

技術領域

本申請涉及計算機視覺技術領域，尤其涉及一種圖像修復方法和裝置。

背景技術

通常，圖像修復的任務是對于給定的一張圖片，擦除其中部分區域，通過算法自動恢復出被擦除的部分，或是用合理的內容將被擦除的區域填充。圖像修復在照片編輯、物體移除、老照片恢復等許多圖像處理任務中都有著廣泛的應用。雖然這一問題已經被研究了許多年，但是給出一個完美的恢復結果仍然具有相當的挑戰，尤其是有大量不規則區域被擦除的時候。

相關技術的圖像修復方法可以分為兩類：傳統的基于區塊的方法和基于深度學習的方法，傳統的方法試圖從未擦除的區域中尋找合適的區塊來對被擦除的區域修補。這些方法通常只在簡單的情況下有效，例如能從背景區域中找到與被擦除區域周圍部分接近的區塊時。這些方法不會對圖片中的物體有語義上的理解，所以在復雜場景中表現欠佳。深度學習的方法由于它能夠學習結構特征的強大能力已經在圖像修復中被廣泛使用，例如基于生成對抗網絡的方法和基于局部卷積網絡的方法。這些方法的被擦除區域類型可以大致分成兩類:(1)被擦除的區域是規則的形狀，比如矩形或橢圓等。(2)被擦除的區域是不規則的形狀。

另外，早期的方法大多針對的是規則區域的圖像擦除，近幾年逐步有針對不規則區域的方法，例如循環推理網絡，門網絡，局部卷積網絡等。但這些方法并未針對被遮區域的類型(形狀，被擦除的比例等)進行網絡的訓練，所以在有各種不規則形狀的擦除區域出現時性能欠佳。

發明內容

本申請旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本申請的第一個目的在于提出一種圖像修復方法，解決現有圖像擦除方法在大量不規則區域被擦除時性能不夠魯棒的問題，通過一個感知被遮區域類型的智能體和自適應的局部修復網絡的串聯進行逐步的圖像修復，從而提高模型對大量不規則區域被擦除時性能的魯棒性。

本申請的第二個目的在于提出一種圖像修復裝置。

為達上述目的，本申請第一方面實施例提出了一種圖像修復方法，包括：

S1，獲取包括擦除部分區域的原始圖片，并使用預設智能體對所述擦除部分區域進行分類處理，獲取擦除區域類型概率圖；

S2，獲取所述擦除部分區域中的待修復目標區域輸入自適應局部圖像修復網絡中，獲取局部圖像修復結果；

S3，根據所述局部圖像修復結果和所述擦除區域類型概率圖進行加權求和，獲取局部修復結果，根據所述局部修復結果更新所述原始圖片；

S4，重復執行步驟S1-S3，直到所述擦除部分區域完全修復，獲取修復圖像。

本申請實施例的圖像修復方法，通過獲取包括擦除部分區域的原始圖片，并使用預設智能體對擦除部分區域進行分類處理，獲取擦除區域類型概率圖；獲取擦除部分區域中的待修復目標區域輸入自適應局部圖像修復網絡中，獲取局部圖像修復結果；根據局部圖像修復結果和擦除區域類型概率圖進行加權求和，獲取局部修復結果，根據局部修復結果更新所述原始圖片；重復上述過程，直到擦除部分區域完全修復，獲取修復圖像。由此，通過一個感知被遮區域類型的智能體和自適應的局部修復網絡的串聯進行逐步的圖像修復，從而提高模型對大量不規則區域被擦除時進行修復的準確性和效率。