[發明專利]一種低光照度圖像自然光照度補強方法及應用

有效

• 申請號: 202011115429.7
• 申請日: 2020-10-19
• 公開（公告）號: CN112287779B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 韓宇星;王俊舒
• 申請（專利權）人: 華南農業大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/774;G06V10/82;G06N3/04;G06T5/00
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種低光照度圖像自然光照度補強方法及應用，該方法步驟包括：構建非配對數據集，構建圖像翻譯模型，根據CycleGAN的環形模型搭建圖像翻譯模型的結構；在圖像翻譯模型中加入實例正則化、注意力機制模塊和語義一致性損失函數；基于非配對數據集訓練圖像翻譯模型的高光照度和低光照度圖像的映射，并進行高光照度循環和低光照度循環；訓練生成對抗網絡；分別計算高光照度循環和低光照度循環產生的圖像與對應真實圖像之間的距離；將低光照度的圖像數據集輸入生成對抗網絡中，生成器輸出高光照的轉換圖像。本發明實現了對夜間低光照度圖像自然光照度強度補強，并在光照度增強的同時保證了翻譯前后圖像語義的一致性。

技術領域

本發明涉及計算機圖像處理以及物聯網視頻應用技術領域，具體涉及一種低光照度圖像自然光照度補強方法及應用。

背景技術

使用GAN模型的圖像翻譯起始于Phillips Isola提出的基于CGAN的有監督圖像轉換模型Pix2Pix，“有監督”表示使用端到端架構的Pix2Pix模型在訓練時需要使用成對的數據集，既一個子數據集中的圖像在另一個子集中都有一個特定圖像與之對應，它們之間將通過神經網絡來建立一個特定的映射關系。在實際應用中輸入是原始圖像x，輸出是轉換后的目標圖像T(x)。原始圖像和翻譯后的目標圖像將作為訓練資源來對鑒別器與生成器進行交替訓練，如需使用有監督學習的圖像翻譯模型進行物聯網低光照度圖像的自然光補強，則需要對同一場景、同一視角的條件下獲取低光照度和充足光照度兩張圖像放入2個子數據集中訓練映射，然后在實際的光照度補強應用中，將通過把低光照度圖像作為輸入，輸入到補強映射中，然后得到一個增強后的圖像。

首先，現有的訓練光照度補強的有監督學習圖像翻譯模型所需的數據集較少，且收錄的場景有限。有監督圖像翻譯模型中的最大問題是在特定的應用中(如城市物聯網)的成對數據集由于時間成本和人力成本的限制難以獲取，同一場景的兩種光照強度的圖像采集往往需要間隔多個小時，而且對拍攝當天的光照強度也有要求，所以收集類似的數據集，對于任何組織和個人都是相當困難的。而且目前缺少針對城市的物聯網光照度補強場景數據集。

其次，圖像高級語義在圖像翻譯前后有一定幾率出現偏差，在光照度補強應用的圖像翻譯模型中，需要保證翻譯前后兩張圖像高級語義的一致性，而現有圖像翻譯模型如CycleGAN中缺少針對編碼器輸出結果的語義一致性保證策略。

再者，需重點突出的圖像區域經常出現特征變化較小或特征無變化現象，在圖像翻譯過程中，需要把更多的計算資源向圖像中重要的區域集中，現有圖像翻譯模型如CycleGAN中缺少突出重點區域的策略。

發明內容

為了克服現有技術存在的缺陷與不足，本發明提供一種低光照度圖像自然光照度補強方法，主要解決城市物聯網攝像頭中所采集到的低光照度圖像中景物較難辨別，以及低光照度圖像不利于人眼觀察和計算機目標識別算法準確性下降的技術問題。

本發明的第二目的在于提供一種低光照度圖像自然光照度補強系統；

本發明的第三目的在于提供一種存儲介質。

為了達到上述目的，本發明采用以下技術方案：

一種低光照度圖像自然光照度補強方法，包括下述步驟：

構建非配對數據集，包括高光照度圖像數據集X和低光照度圖像數據集Y；

構建圖像翻譯模型，根據CycleGAN的環形模型搭建圖像翻譯模型的結構；

在圖像翻譯模型中加入實例正則化；

在圖像翻譯模型中加入注意力機制模塊；

在圖像翻譯模型中加入語義一致性損失函數；