[發明專利]基于參考亮度指標指導的低照度可調節亮度增強方法

在審

• 申請號: 202011437884.9
• 申請日: 2020-12-07
• 公開（公告）號: CN112465726A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 姜竹青;王雅楠;劉暢;李凱;門愛東;王海嬰
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于參考亮度指標指導的低照度可調節亮度增強方法，其特征在于包括以下步驟：

步驟1、在圖像輸入階段，隨機采用圖像增強技術，變換樣本內容；

步驟2、將暗光圖像和參考亮度指標輸入網絡，分別進行特征提取，該階段包括卷積、下采樣和全局平均池化等操作，輸出暗光圖像和參考亮度指標的特征向量；

步驟3、將步驟2得到的兩個特征向量分別分解為亮度特征分量和內容特征分量，通過剪切和拼接的操作，實現對特征向量的重組，輸出由參考指標的亮度分量和暗光圖像的內容分量組合構成的特征向量；

步驟4、對步驟3得到的重組后的特征向量進行重建，該階段包括轉置卷積、上采樣和跳連等操作，輸出亮度增強至與參考水平相近的特征圖；

步驟5、步驟4得到的特征圖經過卷積處理，映射到輸出的特征維度，卷積核的輸出通道數和輸入圖像的通道數一致，最終輸出與參考指標亮度相近的正常亮度圖像；

步驟6、將步驟5的輸出圖像重新送入網絡，通過卷積、下采樣和全局平均池化等操作，對其進行特征提取，并通過剪切得到兩個特征分量。在隱空間中，使用本步驟和步驟3中得到的特征分量計算損失函數，用于優化網絡。

2.根據權利要求1所述的基于參考亮度指標指導的低照度可調節亮度增強方法，其特征在于，所述步驟1的數據增強的具體方法包括以下步驟：

(1)若處于測試階段，則直接進入權利要求1所述步驟2；若處于訓練階段，則進行以下操作；

(2)對輸入的暗光圖像和參考亮度圖像，以各1/4的概率決定其翻轉方式，包括不翻轉、水平翻轉、垂直翻轉和水平及垂直翻轉，兩個圖像的翻轉方式相同；

(3)在翻轉后的輸入圖像中，隨機定位一個尺寸為100×100的圖像塊，且在暗光圖像和參考亮度圖像中的位置相對應；

(4)對于被定位到的圖像塊，將暗光圖像的這部分內容替換為用于監督的對應位置的參考亮度圖像塊內容，即讓網絡對這部分像素進行恒等映射的學習，對網絡學習起到了正則化的作用。限制其只在需要增強亮度的地方進行增強處理，避免了處理后的圖像出現過曝(過度增強)，迫使網絡不僅需要學習如何進行亮度增強，還需要學習在哪兒進行亮度增強。

3.根據權利要求1所述的基于參考亮度指標指導的低照度可調節亮度增強方法，其特征在于，所述步驟2的具體細節包括以下內容：

(1)若處于測試階段，則參考亮度指標為任意正常亮度指標；若處于訓練階段，則參考亮度指標為暗光圖像對應的有監督正常亮度圖像；

(2)該特征提取階段逐步下采樣，可視為編碼器，共有四層下采樣和一層全局平均池化；

(3)每一層下采樣首先進行兩次3×3的卷積，進一步提取特征，卷積不改變特征圖尺寸，但是改變輸出通道數分別至32、64、128和256，再使用最大值池化將特征圖尺寸降低為原來的1/2，進行空間特征的壓縮與融合，保留紋理內容，擴大卷積網絡的感受野，提取更多語義信息。

(4)在全局平均池化前，首先對四層下采樣后的特征圖進行一次3×3的卷積，改變其通道數至512，再采用全局平均池化將特征圖變為512維的特征向量，作為該階段的輸出；

4.根據權利要求3所述的基于參考亮度指標指導的低照度可調節亮度增強方法，其特征在于，所述步驟(1)的具體細節包括以下內容：

①用于測試階段的參考亮度指標可以為任意正常亮度圖像、無內容圖像和圖像的平均亮度值；

②若參考亮度指標為正常亮度圖像，則直接輸入網絡進行亮度特征的提取；

③若參考亮度指標為無內容圖像，如白圖，則直接輸入網絡進行亮度特征的提取；

③若參考亮度指標為圖像的平均亮度值，則首先將該值經過擴維和維度復制的操作，變為與暗光圖像具有相同尺寸和通道數的圖像，再輸入網絡進行亮度特征的提取。