[發明專利]一種基于生成對抗網絡的海面雨天圖像樣本增廣方法

有效

• 申請號: 201911336661.0
• 申請日: 2019-12-23
• 公開（公告）號: CN111145116B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 蘇麗;崔浩浩;王立鵬;孫雨鑫
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于生成對抗網絡的海面雨天圖像樣本增廣方法，其特征在于，包括以下步驟：

步驟1：輸入待增廣的圖像樣本，設定期望增廣的紋理；

步驟2：根據期望增廣的紋理，獲取成對的原始圖片-帶紋理圖片數據集；原始圖片-帶紋理圖片數據集中包括同一場景下的原始圖片A和帶紋理圖片B；

步驟3：構建神經網絡；神經網絡包含生成器和判別器，損失函數采用L1損失與GAN損失相結合的方法；

步驟4：訓練神經網絡；

步驟4.1：設定循環次數；

步驟4.2：將原始圖片-帶紋理圖片數據集中的原始圖片A輸入到神經網絡的生成器，輸出假的帶紋理圖片fake-B；將假的帶紋理圖片fake-B作為判別器的輸入，用判別器對其分布進行判別；若假的帶紋理圖片fake-B與真實的帶紋理圖片B分布相同則輸出1，否則輸出0；將判別器的輸出結果與期望結果利用均方差進行損失計算，得到生成器的GAN損失函數；將假的帶紋理圖片fake-B與真實的帶紋理圖片B進行L1損失計算，得到生成器的L1損失；將生成器的GAN損失與L1損失結合，作為生成器的損失值，并通過對該損失值進行反向傳播來訓練生成器，提升生成器的生成能力；

步驟4.3：將假的帶紋理圖片fake-B與真實的帶紋理圖片B分別作為判別器的輸入；當判別器的輸入為假的帶紋理圖片fake-B時，期望輸出為N*N大小的全0特征圖；當判別器的輸入為真實的帶紋理圖片B時，期望輸出為N*N大小的全1特征圖；計算判別器的實際輸出與期望輸出之間的均方差，得到判別器的損失值；通過將判別器的損失值反向傳播來訓練判別器，提升判別器的判別能力；

步驟4.4：重復進行步驟4.2與步驟4.3，將生成器與判別器交替訓練，直至達到設定的循環次數，完成神經網絡的訓練；

步驟5：將待增廣的圖像樣本輸入訓練好的神經網絡的生成器中，得到增廣后帶有期望增廣的紋理的圖像；在生成過程中不采用深度學習框架中的測試模式，仍然選擇訓練模式，即不對批歸一化層的參數進行固定，繼續啟用dropout層。

2.根據權利要求1所述的一種基于生成對抗網絡的海面雨天圖像樣本增廣方法，其特征在于：所述的步驟3中神經網絡的生成器具體為：

生成器采用殘差網絡，第一層采用9*9的卷積核進行步長為1的卷積，使得網絡具有較大的感受野，之后兩層用步長為2的卷積層進行下采樣，對圖像編碼，接下來跟5層殘差塊，增加網絡的深度，并在每個殘差塊加入dropout層引入噪聲，兩層步長為2的反卷積上采樣解碼過程，最后為一層卷積核為9*9步長為1的卷積層，除最后一層不使用批歸一化與激活函數外，其余層均啟用批歸一化，并選用ReLu激活函數；

所述的步驟3中神經網絡的判別器具體為：

判別器采用Patch-D，網絡結構為四層步長為2的卷積下采樣和一層步長為1的卷積層，最后一層不再進行全連接，而是保持為卷積層，使得輸出為一個N*N大小的特征圖。

3.根據權利要求1或2所述的一種基于生成對抗網絡的海面雨天圖像樣本增廣方法，其特征在于：所述的步驟3中L1損失與GAN損失相結合的方法具體為：由GAN損失重建圖片的高頻部分，由L1損失重建圖像的低頻部分，最終的損失函數為：

L_GAN(G,D)＝E_y[‖D(y)‖²]+E_x,z[||(1-D(G(x,z)))||²]

L_L1(G)＝E_x,y,z[‖y-G(x,z)‖₁]

其中，G^*為目標生成器；G為生成器；D為判別器；x為原始圖片A；y為帶紋理圖片B；z為通過dropout引入的噪聲；E表示求均值。