[發(fā)明專利]一種基于帶對(duì)稱跨層連接的卷積神經(jīng)網(wǎng)絡(luò)的圖像修復(fù)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810239695.7
• 申請(qǐng)日: 2018-03-22
• 公開(kāi)（公告）號(hào): CN108537747A
• 公開(kāi)（公告）日: 2018-09-14
• 發(fā)明（設(shè)計(jì)）人: 楊育彬;董劍峰;毛曉蛟
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/08;G06N3/04
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 胡建華;于瀚文

1.一種基于帶對(duì)稱跨層連接的卷積神經(jīng)網(wǎng)絡(luò)的圖像修復(fù)方法，其特征在于，包括如下步驟：

步驟1，圖像預(yù)處理，采集無(wú)損圖像數(shù)據(jù)，對(duì)每張圖像做隨機(jī)采樣得到無(wú)損圖像集合Y；

步驟2，生成訓(xùn)練集和驗(yàn)證集：根據(jù)要解決的圖像修復(fù)任務(wù)，對(duì)無(wú)損圖像集合Y中的圖像進(jìn)行破壞，得到破壞后的圖像集X，在(X,Y)中隨機(jī)取出90％的數(shù)據(jù)作為訓(xùn)練集(X_train,Y_train)，另外10％的數(shù)據(jù)作為驗(yàn)證集(X_val,Y_val)；

步驟3，構(gòu)建神經(jīng)網(wǎng)絡(luò)：根據(jù)輸入圖像大小構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，設(shè)網(wǎng)絡(luò)總深度為D層，D為偶數(shù)，其中前D/2層為卷積層，后D/2層為反卷積層，卷積核大小為3x3，步長(zhǎng)為1，輸出為網(wǎng)絡(luò)恢復(fù)后圖像；

步驟4，訓(xùn)練神經(jīng)網(wǎng)絡(luò)：使用ADAM優(yōu)化算法，采用步驟2得到的訓(xùn)練集(X_train,Y_train)對(duì)所構(gòu)建神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以破壞后的圖像集X中的圖像作為輸入，并以無(wú)損圖像集合Y中對(duì)應(yīng)的無(wú)損圖像作為網(wǎng)絡(luò)監(jiān)督信息，優(yōu)化圖像網(wǎng)絡(luò)輸出和Y中圖片的歐式距離；

步驟5，將步驟4得到的訓(xùn)練后網(wǎng)絡(luò)作為模型，在驗(yàn)證集(X_val,Y_val)上測(cè)試模型圖像還原效果，并調(diào)整ADAM優(yōu)化算法步長(zhǎng)繼續(xù)訓(xùn)練，直到驗(yàn)證集還原效果不變。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟1包括如下步驟：

步驟1-1，采集無(wú)損圖像數(shù)據(jù)，對(duì)每幅圖像進(jìn)行局部裁剪，采用隨機(jī)采樣的方式，得到大小相同的裁剪后圖像，裁剪后圖像塊大小為50*50；

步驟1-2，對(duì)每個(gè)裁剪后圖像塊，將其進(jìn)行歸一化和中心化處理；首先計(jì)算裁剪后圖像數(shù)據(jù)集合上每個(gè)像素的均值和標(biāo)準(zhǔn)差，設(shè)這些圖像均值圖像為標(biāo)準(zhǔn)差為std，對(duì)于一張?zhí)囟▓D像x，對(duì)其進(jìn)行歸一化和中心化如下：

x′為圖像x處理后的圖像；

步驟1-3，對(duì)于所有圖像進(jìn)行步驟1-2的操作，最終得到無(wú)損圖像集合Y＝[y_1,y_2,…y_n]∈R^(W*H*C)，其中R為實(shí)數(shù)集，n為所提取的裁剪圖像總數(shù)，y_n表示無(wú)損圖像集合Y中第n副圖像，W和H分別為裁剪圖像的寬度和高度，C為圖像通道數(shù)，對(duì)于黑白圖像C＝1，彩色圖像C＝3。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟2包括：

步驟2-1，對(duì)無(wú)損圖像集合Y中的圖像根據(jù)修復(fù)任務(wù)不同進(jìn)行破壞：

如果是圖像去噪任務(wù)，對(duì)圖像的每個(gè)像素加高斯噪聲，設(shè)p_i表示圖像集Y中一幅圖像I的第i個(gè)像素點(diǎn)，i∈[0,W*H*C)，并且設(shè)目標(biāo)噪聲等級(jí)為ε，第i個(gè)像素點(diǎn)噪聲為c_i，則c_i服從正態(tài)分布：c_i～N(0,ε)，N表示正態(tài)分布，最終噪聲圖像的第i個(gè)像素點(diǎn)p′_i＝p_i+_i；

如果是圖像超分辨率任務(wù)，將圖像I縮小k倍，得到縮小后圖像I’，為保證輸入圖像大小與輸出相同，將縮小后圖像I’再次放大到原圖像大小，最終得到同大小低分辨率的圖像；

如果是圖像補(bǔ)全任務(wù)，在圖像中隨機(jī)選出一部分像素點(diǎn)，將其值置為0，其他像素點(diǎn)保持不變，得到需要補(bǔ)全的破壞圖像，最終得到受破壞圖像集合X；

步驟2-2，劃分訓(xùn)練集與驗(yàn)證集，在(X,Y)中隨機(jī)取出90％的數(shù)據(jù)作為訓(xùn)練集(X_train,Y_train)，另外10％的數(shù)據(jù)作為驗(yàn)證集(X_val,Y_val)，X_train表示從破壞后的圖像集X中隨機(jī)選出的90％的數(shù)據(jù)組成的集合，Y_train表示從無(wú)損圖像集合Y中隨機(jī)選出的90％的數(shù)據(jù)組成的集合，X_val表示破壞后的圖像集X中剩下的10％的數(shù)據(jù)組成的集合，Y_val表示無(wú)損圖像集合Y中剩下的10％的數(shù)據(jù)組成的集合。