[發明專利]一種基于循環生成對抗網絡的圖像頻閃去除方法

在審

• 申請號: 202211073159.7
• 申請日: 2022-09-02
• 公開（公告）號: CN115511730A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 林曉丹;李楊福;邱應強;朱建清;曾煥強
• 申請（專利權）人: 華僑大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

本發明涉及一種基于循環生成對抗網絡的圖像頻閃去除方法，其在合成頻閃圖像數據集的基礎上訓練得到循環生成對抗網絡模型，其包含兩個生成網絡與兩個鑒別網絡，兩個生成網絡分別負責由輸入的頻閃圖像生成無頻閃圖像與輸入無頻閃圖像生成頻閃圖像，鑒別網絡利用輸入的真實圖像與生成網絡的生成圖像，結合生成對抗思想，訓練生成網絡。最終達到輸入頻閃圖像最終輸出其對應的無頻閃圖像的目的，有效提高了圖像去頻閃方法的實用性。

技術領域

本發明屬于計算機圖像處理領域，主要涉及人工照明成像環境下的圖像頻閃消除。具體來說，即基于循環生成對抗網絡的圖像頻閃去除方法。

背景技術

在人工照明環境下，例如日光燈、LED燈等照明設備由交流市電作為供電電源時，其光強會受到電網電流周期性變化的影響而表現出一定程度的波動。由于卷簾快門相機采用的是逐行曝光的方式，因此卷簾快門相機拍攝的圖像能夠捕獲各行在不同曝光時刻光源的亮度波動，具體表現為明暗變化的條形斑紋，即圖像的頻閃效應。

生成對抗網絡GAN是一種生成模型，其一般包含優化目標相反的兩個子模型，一個稱為生成器，負責擬合真實數據的潛在分布；一個稱為鑒別器，作為二分類器鑒別輸入數據為真實數據還是由生成器偽造的數據。循環生成對抗網絡CycleGAN是一種使用無監督訓練的生成對抗網絡，旨在解決監督學習中配對數據難以獲取的問題。CycleGAN提出的循環一致性損失，使模型可以在缺乏配對數據的情況下學習到源域與目標域之間的一一映射。生成器和鑒別器網絡結構均采用卷積神經網絡。

生成對抗網絡將真實圖片作為生成對抗網絡輸入，生成網絡輸出另一張具有特定屬性的圖片。

現有的圖像去頻閃方法有：使用多張曝光時長不同的圖像進行圖像融合，達到抑制頻閃的目的；使用額外的先驗信息如成像設備的行掃描頻率、電網頻率等，設計數字濾波器濾除圖像中的頻閃分量。

然而，現有的去頻閃方法難以適用于單張圖片或者相機參數、電網參數未知的情形，使用場景受限，實用性低。

發明內容

針對現有技術存在的問題，本發明的目的在于提供一種基于循環生成對抗網絡的圖像頻閃去除方法，其引入了循環生成對抗的思想，不需要額外先驗信息或匹配的無頻閃圖像做參考，增強了去頻閃方法的使用場景與實用性。

為實現上述目的，本發明采用的技術方案是：

一種基于循環生成對抗網絡的圖像頻閃去除方法，其包括以下步驟：

步驟1、圖像去頻閃模型訓練；

步驟1.1、構建去頻閃循環生成對抗網絡框架；

所述去頻閃循環生成對抗網絡框架包括生成網絡G、生成網絡R、鑒別網絡D1、鑒別網絡D2，所述生成網絡R用于學習消除圖像頻閃的映射；所述生成網絡G用于學習頻閃圖像的生成；所述鑒別網絡D1用于鑒別模型消除頻閃后的圖像與真實無頻閃圖像的區別；所述鑒別網絡D2用于鑒別模型生成頻閃圖像與真實頻閃圖像的區別；

步驟1.2、輸入頻閃/無頻閃圖像訓練集，進行圖像去頻閃模型的訓練；頻閃/無頻閃圖像訓練集包括頻閃圖像X和無頻閃圖像Y；生成網絡R根據輸入的頻閃圖像X生成去除頻閃后的圖像Yfake，根據輸入的無頻閃圖像Y生成本體映射無頻閃圖像Yiden；生成網絡G根據輸入的無頻閃圖像Y生成包含頻閃的圖像Xfake，根據輸入的頻閃圖像X生成本體映射頻閃圖像Xiden，并計算模型的頻閃損失loss_Flicker、梯度損失loss_Grad和本體映射損失loss_Iden；

將生成的去頻閃圖像Yfake與頻閃圖像Xfake分別輸入生成網絡G和生成網絡R，生成循環頻閃圖像Xcycle與循環去頻閃圖像Ycycle，并計算循環一致性損失loss_Cycle；