[發明專利]一種基于改進生成對抗網絡的提高水下圖像分辨率方法

在審

• 申請號: 202111328591.1
• 申請日: 2021-11-10
• 公開（公告）號: CN114037843A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 孫希延;梁維彬;鞠濤;杜洋;付文濤
• 申請（專利權）人: 南寧桂電電子科技研究院有限公司;桂林電子科技大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/26;G06V10/764;G06V30/19;G06V10/82;G06T3/40;G06T5/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 石燕妮

本發明公開了一種基于改進生成對抗網絡的提高水下圖像分辨率方法，首先改進了生成對抗網絡，在保留了生成對抗網絡能進行對抗訓練的前提下，通過改善生成器模塊的結構，將殘差塊改為三層恒等殘差塊，并引入了密集跳躍連接的結構，增加了低級特征和高級特征之間的聯系，使得生成的圖像更真實，紋理更清晰，同時考慮到BN層并不適用于做圖像超分辨率重建，因此減去了生成器模塊中的BN層，將生成器模塊的激活函數由Sigmoid改為Relu以防止梯度爆炸問題，減少了整個網絡的計算量，提高了網絡的實時性。本發明可以針對水下機器人拍攝的水下圖像進行超分辨率重建，以達到提高水下圖像質量的目的。

技術領域

本發明涉及圖像處理與深度學習技術領域，尤其涉及一種基于改進生成對抗網絡的提高水下圖像分辨率方法。

背景技術

近年來，隨著全球人口的增長，陸地上的資源消耗日益加快，而海洋占據了地球上的大部分面積，并且擁有豐富的生物及石油資源，因此開發海洋資源是未來發展的一個重要方向。

在探索開發海洋資源時，通過水下機器人獲取水下信息是目前的主流方式，然而水下環境較為復雜，比如水下環境的湍流、海水的懸浮物引起光照的散射、光照的衰減造成的顏色通道缺失等，使得水下圖像呈現色偏、細節缺失以及對比度低等，這也使得水下圖像很難用于檢測、分割等應用。因此如何提升水下圖像質量、解決水下圖像細節缺失與模糊的問題具有重要意義。

圖像超分辨率重建技術是指將低分辨率圖像，通過一定的算法，恢復成高分辨率圖像。圖像超分辨率重建技術可以用來改善圖像的細節、去圖像模糊化，進而提升圖像質量，這對于解決水下圖像存在的細節缺失與模糊問題有所幫助。同時，圖像超分辨率重建技術可以減少在特定條件下每一個圖像系統的內部分辨率的一些限制，進而提高圖像的每個圖像系統所處理的分辨率。圖像超分辨率重建技術在許多領域有著重要的應用，如安全監控，醫學圖像和無人機遙感技術等領域皆應用到了圖像超分辨率重建技術。

基于生成對抗網絡的圖像超分辨重建在目前的圖像重建方面是一種比較常用的方法，通過建立模型，學習低級特征與高級特征之間的映射方式，利用先前所學習到的先驗知識，來對圖像的高頻細節進行恢復以達到重建的目的，這相比于傳統方法能有一個更好的結果。

生成對抗網絡的網絡結構是由一個生成器和一個判定器構成，對生成器和判定器進行交替迭代訓練，以達到生成器生成的樣本足夠逼真的效果。使用生成對抗網絡進行圖像超分辨率重建的優點是不依賴預設分布，其缺點是用于水下圖像超分辨率重建時，由于水下環境復雜，特征不能被很好地學習，導致生成的圖像缺乏細節信息，因此需要進行改進。

發明內容

本發明的目的在于提供一種基于改進生成對抗網絡的提高水下圖像分辨率方法，將改進的生成對抗網絡模型應用到水下圖像處理中，更好地訓練生成器模塊，進而提高水下圖像質量，增加水下圖像細節信息。

為實現上述目的，本發明提供了一種基于改進生成對抗網絡的提高水下圖像分辨率方法，包括下列步驟：

構建改進生成對抗網絡模型；

獲取已有水下圖像，并制作訓練所需數據集，同時對其進行數據增強和數據集劃分；

訓練所述改進生成對抗網絡模型，獲得訓練好的網絡模型；

獲取實時水下圖像并處理為小塊圖像；

將所述小塊圖像輸入所述訓練好的網絡模型，獲得網絡輸出結果；

拼接所述網絡輸出結果，獲得最終結果。

其中，所述改進生成對抗網絡模型的基礎模塊由生成器模塊和判定器模塊組成，所述生成器模塊里的殘差卷積改為三層恒等殘差塊，每個所述三層恒等殘差塊的輸出結果都作為后續每一層的輸入特征，激活函數由Sigmoid改為Relu。