[發明專利]一種基于生成對抗網絡的海面雨天圖像樣本增廣方法

有效

• 申請號: 201911336661.0
• 申請日: 2019-12-23
• 公開（公告）號: CN111145116B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 蘇麗;崔浩浩;王立鵬;孫雨鑫
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明屬于神經網絡深度學習技術領域，具體涉及一種基于生成對抗網絡的海面雨天圖像樣本增廣方法。本發明基于生成對抗網絡，采用傳統的L1損失和GAN損失相結合的方法來訓練網絡，在訓練生成器的過程中除了傳統的GAN損失外還加上了生成的假的雨天圖片與真實雨天圖片之間的L1損失；生成器采用殘差網絡，判別器采用Patch?D，通過對圖像分成N*N個小塊分別進行判別來計算損失，提高圖像的清晰度以及細節保持能力，生成樣本時仍采用深度學習框架中的訓練模式，即不對批歸一化層的參數進行固定，繼續啟用dropout層。本發明中通過利用成對的圖片來訓練生成器，從而由多數類樣本生成其對應的少數類樣本，達到增廣樣本的目的。

技術領域

本發明屬于神經網絡深度學習技術領域，具體涉及一種基于生成對抗網絡的海面雨天圖像樣本增廣方法。

背景技術

隨著深度學習技術的發展，其在圖像、語音、文本等領域均取得了巨大的成功，多年來各種深度神經網絡層出不窮，隨著計算機硬件技術的提高，神經網絡的規模也越來越大，參數也越來越多。同時，對訓練網絡所用的樣本數據的要求也越來越高，對于深度學習來說，樣本數據往往是其至關重要的一環。使用深度學習訓練模型實際上就是通過讓神經網絡對大量的已有樣本進行學習，并對學習到的樣本數據進行統計分析，根據分析結果來優化神經網絡的參數，從而使得神經網絡能夠輸出我們想要的結果。同人類的學習一樣，要想讓神經網絡的學習效果足夠好就需要對其提供足夠數量和良好質量的樣本數據。現如今，一些較大的神經網絡擁有的參數量甚至達到了上億級別，這就需要一個龐大的樣本數據集來對其進行訓練。

對于圖像領域來說，雖然隨著互聯網的發展我們可以很容易的獲得大量的目標圖片，但是并不是只要數量足夠就可以組成一個滿足深度學習要求的數據集。一個合格的數據集不僅要保證數量，還要保證質量，不僅要滿足樣本數據的多樣性要求，還要保證各個類別的樣本數量均衡。而我們容易獲得的照片更多的是攝影愛好者進行的拍照或者一些專業人員出于某種目的進行的拍攝，這就導致不同種類樣本數量的不均衡，直接用這樣的數據集進行訓練很容易造成網絡的過擬合，從而導致訓練結果出錯。

發明內容

本發明的目的在于提供通過利用成對的圖片來訓練生成器，從而由多數類樣本生成其對應的少數類樣本，實現增廣樣本的一種基于生成對抗網絡的海面雨天圖像樣本增廣方法。

本發明的目的通過如下技術方案來實現：包括以下步驟：

步驟1：輸入待增廣的圖像樣本，設定期望增廣的紋理；

步驟2：根據期望增廣的紋理，獲取成對的原始圖片-帶紋理圖片數據集；原始圖片-帶紋理圖片數據集中包括同一場景下的原始圖片A和帶紋理圖片B；

步驟3：構建神經網絡；神經網絡包含生成器和判別器，損失函數采用L1損失與GAN損失相結合的方法；

步驟4：訓練神經網絡；

步驟4.1：設定循環次數；

步驟4.2：將原始圖片-帶紋理圖片數據集中的原始圖片A輸入到神經網絡的生成器，輸出假的帶紋理圖片fake-B；將假的帶紋理圖片fake-B作為判別器的輸入，用判別器對其分布進行判別；若假的帶紋理圖片fake-B與真實的帶紋理圖片B分布相同則輸出1，否則輸出0；將判別器的輸出結果與期望結果利用均方差進行損失計算，得到生成器的GAN損失函數；將假的帶紋理圖片fake-B與真實的帶紋理圖片B進行L1損失計算，得到生成器的L1損失；將生成器的GAN損失與L1損失結合，作為生成器的損失值，并通過對該損失值進行反向傳播來訓練生成器，提升生成器的生成能力；

步驟4.3：將假的帶紋理圖片fake-B與真實的帶紋理圖片B分別作為判別器的輸入；當判別器的輸入為假的帶紋理圖片fake-B時，期望輸出為N*N大小的全0特征圖；當判別器的輸入為真實的帶紋理圖片B時，期望輸出為N*N大小的全1特征圖；計算判別器的實際輸出與期望輸出之間的均方差，得到判別器的損失值；通過將判別器的損失值反向傳播來訓練判別器，提升判別器的判別能力；