[發明專利]一種基于生成對抗網絡的高分辨率圖像生成方法

有效

• 申請號: 201911105666.2
• 申請日: 2019-11-13
• 公開（公告）號: CN111563841B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 張賀舒;李濤;宋公飛
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/084;G06N3/0464
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 劉傳玉

1.一種基于生成對抗網絡的高分辨率圖像生成方法，其特征在于，包含以下步驟：

步驟1)，對待學習的數據集圖像進行預處理得到訓練集；

步驟2)，構建生成對抗網絡，所述生成對抗網絡包含生成網絡G和判別網絡D兩個深度卷積神經網絡；

步驟3)，對生成對抗網絡進行預訓練，獲得預訓練的模型參數作為生成對抗網絡的初始化參數：

步驟3.1)，隨機初始化生成對抗網絡的模型參數，對生成對抗網絡進行訓練并保存訓練完成時的模型參數；

步驟3.2)，重復步驟3.1)預設的次數閾值，隨機選取其中一次保存的模型參數作為預訓練的模型參數；

步驟4)，將訓練集和生成網絡G生成的圖像分別輸入到判別網絡D中，判別網絡D的輸出反作用于生成網絡G，對生成對抗網絡進行對抗訓練，優化生成網絡G和判別網絡D的網絡參數，當損失函數收斂時結束訓練，得到訓練好的生成對抗網絡；

步驟5)，將隨機數據分布輸入到訓練好的生成網絡中，實現高分辨率圖像生成；

所述步驟1)的詳細步驟如下：

步驟1.1)，將待處理圖像x裁剪為n*n，n為16的整數倍；

步驟1.2)，采用雙三次插值方法對裁剪后的圖像分別進行采樣率為2、4、8、16的下采樣，得到低分辨率圖像；低分辨率圖像塊構成訓練集；

所述生成網絡G采用倒金字塔結構，包含5個級聯的生成器G₀、G₁、G₂、G₃、G₄，逐層實現高頻信息的學習、銳化圖片細節；最低層生成器G₄包含按順序連接的全連接層、RELU激活層、Dropout層、全連接層、RELU激活層、Dropout層、全連接層、Tanh激活層；四個高層生成器G₀、G₁、G₂、G₃均包含卷積層、RELU激活層、卷積層、RELU激活層、卷積層、Tanh激活層；

所述判別網絡D包含五個判別器D₀、D₁、D₂、D₃、D₄，分別對應生成器G₀、G₁、G₂、G₃、G₄，最低層判別器D₄包含按順序連接的全連接層、RELU激活層、Dropout層、全連接層、RELU激活層、Dropout層、全連接層、Tanh激活層；四個高層判別器D₀、D₁、D₂、D₃均包含卷積層、RELU激活層、Dropout層、卷積層、RELU激活層、Dropout層、Flatten層、全連接層；

在卷積操作中使用“補零”方式來保持所有特征圖的大小相同；

生成網絡G通過模擬訓練集中的數據分布來生成逼近真實數據分布的圖像；判別網絡D判斷輸入到判別網絡中的圖片是來自真實數據分布p_data還是生成網絡G生成的分布，并反作用于生成網絡G；

生成對抗網絡的目標函數為：

V(D，G)是整個生成對抗網絡待優化的目標函數，D為判別網絡，G為生成網絡，z為隨機輸入的數據分布，x為下采樣后的低分辨率圖片，y為真實圖片對應的標簽或者是從真實圖片中截取的一個圖像塊作為該圖像的標簽；p_data(x)為真實數據分布，p_g(z)為隨機輸入數據分布；D(x|y)表示在條件y的情況下，判別器判定低分辨率圖片x是來自真實圖片的概率；G(z|y)表示在條件y的情況下，生成器輸入為z時的輸出；D(G(z|y))表示在條件y的情況下，判別器判斷生成器輸出的圖片為真實圖片的概率；

所述步驟4)的詳細步驟如下：

步驟4.1)，固定生成網絡G參數，將隨機輸入分布輸入到生成網絡G中，輸出得到相應的圖像；

將生成圖像和對應的訓練集圖像輸入到判別網絡中，將l_D作為判別網絡的損失函數，使用判別網絡Adam優化器優化判別網絡參數，最大化目標函數V(D，G)；

判別網絡的損失函數如下：

l_D＝l_Dr-p_il_Df????(4)

M_balance＝γl_Dr-l_G????(5)

p_i+1＝p_i+λ*M_balance(0＜p_i+1＜1)????(6)

M_global＝l_Dr+abs(M_balance)????(7)

I_r為真實圖片；I_f為生成網絡生成的圖片；y是與真實圖片I_r對應的標簽；l_G為生成網絡的損失函數；l_Dr為判別網絡判別“真實圖片為真”的概率，l_Df為判別網絡判別“生成網絡生成的圖片為真”的概率；l_D為判別網絡的損失函數，是一種相對判別方法，能夠更大程度上優化判別網絡，同時使用參數p_i動態調節判別網絡的的學習能力，有效的改善梯度消失問題；使用參數M_global來衡量生成對抗網絡的訓練程度，數值越大表示網絡訓練越完善；設置超參數γ為0.5，λ為e^-3；

判別網絡Adam優化器中設置參數learning_rate初始值為d_lr，每迭代N次，參數d_lr更新為max(d_lr*lr_decay_rate，lr_low_boundary)，參數lr_decay_rate在[0.1，0.5]間取值，參數lr_low_boundary為設置的最低學習率；

步驟4.2)，將步驟4.1)中優化后的判別器參數固定，將l_D作為生成網絡的損失函數，使用生成網絡Adam優化器優化生成網絡參數，最小化目標函數V(D，G)；

生成網絡的損失函數如下：

生成網絡Adam優化器中設置參數learning_rate初始值為g_lr，每迭代M次，參數g_lr更新為max(g_lr*lr_decay_rate，lr_low_boundary)，參數lr_decay_rate在[0.1，0.5]間取值，參數lr_low_boundary為設置的最低學習率；

步驟4.3)，重復步驟4.1)、步驟4.2)，交替訓練判別網絡和生成網絡，隨著訓練周期的加長動態調整生成網絡和判別網絡的學習率，直到損失函數收斂，得到最優的網絡模型參數并保存。