[發明專利]一種基于多尺度判別生成對抗網絡的圖像修復方法

在審

• 申請號: 202011103066.5
• 申請日: 2020-10-15
• 公開（公告）號: CN112270651A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 張蕾;王鈞立;趙春濤;雷雨;甘權森;趙廣社
• 申請（專利權）人: 西安工程大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62;G06N3/04
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 寧文濤

本發明公開了一種基于多尺度判別生成對抗網絡的圖像修復方法，步驟如下：1、采集完好未破損的同批圖像作為訓練集圖像，并將其處理成統一大?。?、訓練數據集圖像中心位置人為標定大小相同的方形掩膜，得到待修復的圖像與相應掩膜區域圖像；3、構建多尺度生成對抗網絡，多尺度生成對抗網絡模型包括生成網絡G和三個多尺度判別網絡；4、將2得到的待修復圖像輸入3構建的多尺度生成對抗網絡模型中，更新生成網絡與判別網絡權值，訓練中采用的損失函數包括重構損失、多尺度對抗損失、感知損失；5、利用訓練得到的生成網絡G生成待修復圖像的缺失部分，一種基于多尺度判別生成對抗網絡的圖像修復方法該方法能夠生成效果更好的缺失部分圖像并有效解決修復圖像在邊界區域不連續的問題。

技術領域

本發明屬于計算機視覺與圖像處理技術領域，具體涉及一種基于多尺度判別生成對抗網絡的圖像修復方法。

背景技術

圖像修復技術，指用圖像中的已知部分區域來填充修補圖像中的受損區域，比如污點，裂縫等。圖像修復技術擁有十分悠久的歷史，我國早在古代就已經有對書畫文物、壁畫等進行修復的工作；在國外，圖像修復早在歐洲文藝復興時期就得到快速發展。隨著計算機科學技術的進步，利用計算機對圖像進行收集和處理的技術迅速發展，越來越多的圖像以數字圖像的形式儲存在計算機和相機中，珍貴的文物作品可以被掃描到電腦里，利用計算機軟件進行處理，避免對文物產生不可逆轉的破壞。

傳統的圖像修復方法針對待修復區域大小的不同分為基于結構特征修復方法和基于紋理信息修復方法兩種。基于結構特征修復方法采用高階偏微分方程，利用受損邊界信息向內擴散對圖像進行補全，然而該方法只適用于小面積缺失的圖像。基于紋理信息的修復方法考慮圖像的紋理信息，克服了基于偏微分方程的方法只能修復小尺度簡單結構信息的缺點。

基于紋理信息的圖像修復方法又可分為兩個方向：

基于圖像分解：基于圖像分解的方法將圖像分解為結構部分和紋理部分，結構部分采用基于結構信息的算法進行修補，紋理部分采用基于紋理方法進行填充，從而使圖像的結構部分和紋理部分均能得到較好的修復。

基于樣本塊：基于樣本塊的方法則不斷在圖像的保留區域中搜索與受損區域的目標區域紋理最匹配的樣本塊，并按照一定優先順序逐漸填充圖像受損區域。

傳統方法需要缺失圖像保留有較好的結構和紋理信息，對于缺失關鍵結構和紋理信息的圖像修復效果較差，因而不適用于修復環境復雜和缺失區域較大的圖像修復。近年來，隨著基于神經網絡的深度學習技術的發展，出現了基于卷積神經網絡網絡的圖像修復方法，在環境復雜、缺失區域較大的圖像修復中取得較傳統方法更好的修復效果。基于卷積神經網絡的圖像修復方法雖然能夠處理環境較為復雜或者缺失區域較多的圖像修復問題，但會使修復后的圖像出現紋理模糊、內容不連貫以及圖像有明顯的邊界等問題。

總而言之，現有的圖像修復方法修復圖像質量較低，尤其是對于場景復雜或者缺失區域面積較大的圖像，容易使修復結果出現結構扭曲、紋理細節模糊和內容不連貫等問題，具有一定的局限性。

發明內容

本發明的目的是提供一種基于多尺度判別生成對抗網絡的圖像修復方法，該方法利用多尺度判別的生成對抗網絡對圖像的缺失部分進行生成，具有得到更加精細的缺失部分圖像、改善修復圖像在在邊界區域不連續問題的特點。

本發明所采用的技術方案是，一種基于多尺度判別生成對抗網絡的圖像修復方法，具體按照以下步驟實施：

步驟1、采集完好未破損的同批圖像作為訓練集圖像,并將訓練集圖像處理成統一大小，處理完成后的訓練集圖像稱為訓練數據集；

步驟2、采集待修復圖像，對步驟1得到的訓練數據集的圖像中心位置標定大小相同的方形掩膜，得到與待修復的圖像相對應的掩膜區域圖像；

步驟3、構建多尺度生成對抗網絡模型，多尺度生成對抗網絡模型包括生成網絡G和多尺度判別網絡D1、D2、D3；具體按照以下步驟實施：