[發明專利]一種基于生成式對抗神經網絡的圖像修復方法

在審

• 申請號: 202010073860.3
• 申請日: 2020-01-22
• 公開（公告）號: CN111292265A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 楊帥;張治強;黃榮;韓芳;王直杰
• 申請（專利權）人: 東華大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 徐俊

1.一種基于生成式對抗神經網絡的圖像修復方法，其特征在于，包括以下步驟，

步驟一、對數據進行預處理，以滿足神經網絡對輸入數據的要求，首先將圖像的像素值放縮到(0,1)之間，然后將數據圖像分辨率調整為128×128，對裁剪后的128×128的圖像，分別制作四個掩膜矩陣來對圖像進行人為損失，制作缺損圖像，四個掩膜矩陣分別對應于修復圖像的四個階段；

步驟二、在獲得步驟一處理的缺損圖像后，使用生成網絡的“編碼器”中的生成卷積神經網絡的卷積和池化操作對經過步驟一處理后的缺損程度最大圖像進行特征提取得到深度特征圖，再將特征圖輸入“解碼器”中進行上采樣，進而得到偽造圖像；

步驟三、為了保證缺失區域修復后能夠和周圍保持一致性，采用兩個判別網絡，全局判別網絡和局部判別網絡，全局判別網絡的輸入是整張真實圖像或者經過步驟二生成的偽造圖像，判斷輸入圖像為真實數據的可能性，局部判別網絡的輸入是局部真實圖像或者步驟二生成偽造圖像的局部，判斷圖像的局部為真實數據的概率，通過聯合這兩個判別網絡來監督生成網絡的訓練，促使生成網絡生成的偽造圖像在整體和局部均與真實圖像相似；

步驟四、將整個圖像修復過程分為四個子階段，在每個階段只修復缺失區域的一部分，并通過LSTM將這幾個子階段連接起來，將經過步驟三判別后的偽造圖像作為下一階段生成網絡的輸入，重復步驟二至步驟四，同時通過LSTM將隱層特征的特征輸入到下一階段的隱層中，參與下一階段的圖像修復。

2.如權利要求1所述的基于生成式對抗神經網絡的圖像修復方法，其特征在于，所述的步驟一中，為了避免直接調整圖像大小造成的圖像失真和信息丟失，若圖像的分辨率不是128×128，采取隨機裁剪的方式從原圖中取一塊尺寸為128×128的局部區域圖像作為訓練圖像。

3.如權利要求1所述的基于生成式對抗神經網絡的圖像修復方法，其特征在于，所述的步驟二中，編碼器-解碼器結構的卷積神經網絡之間添加短接，將編碼階段的低層特征和解碼階段的特征進行融合。