[發明專利]一種基于邊緣信息指導的數字圖像修復方法及裝置

在審

• 申請號: 202110819984.6
• 申請日: 2021-07-20
• 公開（公告）號: CN113487512A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 楊穎;劉健文;張娟;周明全;薛嘉蕊
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李鵬威

本發明公開了一種基于邊緣信息指導的數字圖像修復方法及裝置，構建對抗神經網絡，對抗神經網絡由邊緣預測網絡和內容生成網絡組成；獲取與待修復數字圖像類別相同的原始圖像數據集，對原始圖像數據集隨機裁剪并批量加入隨機掩膜生成污損圖像數據集，將污損圖像數據集作為訓練數據集；將訓練數據集輸入對抗神經網絡，對邊緣預測網絡和內容生成網絡分別進行訓練，得到訓練完成的邊緣預測網絡和訓練完成的內容生成網絡。采用圖像的邊緣信息指導神經網絡修復數字圖像，邊緣信息的引入有利于神經網絡更好地預測圖像污損區域的結構，從而提高神經網絡針對任意大面積污損區域的修復能力。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于邊緣信息指導的數字圖像修復方法及裝置。

背景技術

數字圖像是一種用有限的數值形式的像素表示的二維圖像，在計算機中由存儲各像素點具體數值信息的矩陣構成。數字圖像中往往存在這樣的不理想區域：原本就有劃痕或有污損的照片的掃描件；不期望圖像上出現的目標物體或文字；在圖像的獲取、處理、傳輸的過程中因信息丟失所留下的信息缺損區域等。為了保證圖像信息的完整性和視覺上的一致性，通常使用數字圖像修復技術對類似的不理想區域進行修復。

圖像修復(Image inpainting)技術指借助已知圖像信息推測并修復缺失部分信息，或修補圖像中污損區域的技術手段。圖像修復技術可以用于清除數字圖像中的不理想區域、無痕地隱藏重要信息，修復數字化的老照片和膠片中存在的破損和劃痕，其在數字化文物的虛擬修復領域也有著廣泛的應用前景。圖像修復的結果要保證結構的完整、紋理清晰，盡可能與原始圖像一致，不能存在明顯的修復痕跡。

深度神經網絡因其具有的特征提取和學習能力，能夠理解圖像更高階的語義特征，顯著提升了數字圖像的修復效果。Pathak等人設計了上下文編碼器(ContextEncoders)修復圖片中心方形區域的孔洞。Yu等人設計了內容感知層(ContextAttention)，使網絡模型可以從距離遙遠的區域提取近似待修復區域的特征。Liu等人引入部分卷積(Partial Convolution)使網絡能在不規則的孔洞上修復圖像。Yu等人設計了門卷積(Gated Convolution)和用戶學習層，使得網絡模型能夠根據用戶的輸入信息指導網絡的修復。Edge-Connect方法通過引入邊緣信息對圖像進行重建，以達到修復圖像的目的。但是上述基于深度學習的方法依然是基于傳統的RGB三通道，通過卷積神經網絡學習圖像特征，進而修復破損區域，引入的MASK掩膜也僅僅是用于標記破損區域，無法給神經網絡以有效引導，在面對大面積破損時往往會出現模糊和偽影。

發明內容

針對現有技術中存在的問題，本發明提供了一種基于邊緣信息指導的數字圖像修復方法及裝置，提高了對任意大面積污損區域的修復能力。

為了解決上述技術問題，本發明通過以下技術方案予以實現：

一種基于邊緣信息指導的數字圖像修復方法，包括：

構建對抗神經網絡，所述對抗神經網絡由邊緣預測網絡和內容生成網絡組成；

獲取與待修復數字圖像類別相同的原始圖像數據集，對所述原始圖像數據集隨機裁剪并批量加入隨機掩膜生成污損圖像數據集，將所述污損圖像數據集作為訓練數據集；

將所述訓練數據集輸入所述對抗神經網絡，對所述邊緣預測網絡和所述內容生成網絡分別進行訓練，得到訓練完成的邊緣預測網絡和訓練完成的內容生成網絡；

將所述訓練完成的邊緣預測網絡和所述訓練完成的內容生成網絡整合為端到端的網絡結構，用所述訓練數據集對所述端到端的網絡結構進行訓練，得到數字圖像修復對抗神經網絡；