[發明專利]一種基于RAW圖像的低弱光圖像增強方法與裝置

在審

• 申請號: 202310065505.5
• 申請日: 2023-02-06
• 公開（公告）號: CN116309116A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 付瑩;洪陽;張軍
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06T5/50
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 張利萍

本發明涉及一種基于RAW圖像的低弱光圖像增強方法與裝置，屬于圖像處理技術領域。本方法提出了用于低弱光圖像增強的多尺度并行深度神經網絡，通過卷積模塊化設計實現不同深度網絡分支的級聯，以充分提取互補特征，合理分配計算資源。同時，深入分析基于RAW格式低弱光圖像的數據優勢，充分利用高分辨率RAW圖像特別是綠色通道的空間信息和通道特性，從而達成更好的細節特征提取和隱藏信息挖掘，實現了基于RAW圖像的高效低弱光圖像增強，做到圖像增強質量與模型處理效率之間的平衡兼顧。本發明有效提升了低弱光圖像增強網絡對不同信息含量的低弱光圖像的魯棒性恢復能力，提升了真實圖像低弱光增強的質量，保證了真實低弱光增強圖像的真實性。

技術領域

本發明涉及一種基于RAW圖像的低弱光圖像增強方法與裝置，屬于圖像處理技術領域。

背景技術

低弱光環境，即光線強度較低的環境，例如在夜間城市燈光、月光、星光條件下的環境等。在低弱光條件下采集的圖像即為低弱光圖像。此時，光線不足，圖像傳感器收集的光子較少，圖像信號較弱，導致低弱光圖像具有較強的噪聲和較低的信噪比，場景信息丟失嚴重難以恢復。RAW圖像(RAW?Image?Format)，是圖像感應器將捕捉到的光源信號轉化為數字信號的原始數據，是未經處理、未經壓縮的格式。RAW圖像相對于常用的JPEG格式的sRGB圖像，保留了更多信息，具有更好的動態范圍。針對低弱光圖像的增強技術，能夠解決低弱光區域亮度不足、對比度低和顏色失真等一系列圖像質量退化問題，使圖像得以顯示更多的視覺信息，是一個對圖像處理和下游視覺相關任務及產業都具有重大影響的技術。

當前，主流的圖像處理方法，主要是針對8位量化JPEG等格式的sRGB(standardRed?Green?Blue，標準紅綠藍色彩空間)可視化圖像進行設計與處理，這種圖像都是經過圖像采集設備內置ISP算法(Image?Signal?Processor，圖像信號處理)從RAW域圖像處理所得的，該過程會使低弱光圖像僅有的語義信息進一步丟失，有時甚至會導致場景信息的永久丟失。如若將RAW格式圖像直接作為圖像處理算法的輸入，一方面，從相機傳感器獲取的RAW圖像比sRGB圖像包含更多的信息和更高的比特值，直接從通常為14位的RAW圖像中提取信息可以有效避免sRGB圖像在量化時導致的信息丟失問題；另一方面，RAW圖像幾乎保持著圖像曝光和場景亮度之間的線性相關性，即圖像像素值直接與真實世界的信號強度相關，進一步避免低弱光場景有限信息的丟失。

現有的低弱光圖像增強技術，主要利用深度學習架構實現將低弱光圖像轉化增強為正常光照圖像這一過程，并能有效去除噪聲，提高圖像信噪比，其實際算法效果遠超基于人工先驗模型的傳統方法。但是，此類方法由于參數空間巨大，不可避免會導致內存占用大、計算成本高，因此，其難以在計算和存儲資源有限的嵌入式平臺上運行，而且推理時間長，無法實現高效的低弱光圖像增強，不適合于實際場景進行部署應用。

對于數據驅動的低弱光圖像增強方法，在實際應用過程中，一方面在效率方面，要具有較小的內存占用、較少的模型參數、較低的計算成本，滿足實時性和輕量化需求，另一方面，在性能方面也要兼顧亮度恢復、顏色偏差、噪聲抑制等圖像增強效果層面的挑戰。由于性能和效率在實際算法設計過程中往往是相互矛盾的，現有方法通常會選擇為了更好的增強性能而犧牲模型的速度和計算效率，甚至放棄對于4K分辨率圖像等復雜高計算量場景的處理，這也導致相關方法的實用性大大降低。

綜上所述，為了實現在移動設備上高分辨率真實低弱光圖像增強結果的快速獲取，并且克服現有技術較難兼顧圖像增強質量與模型計算效率的問題，迫切需要一種高效且恢復效果好的低弱光圖像增強方法，能夠利用輕量化深度學習框架，解決4K低弱光圖像的噪聲、顏色偏差和細節恢復的問題。

發明內容

本發明的目的是針對現有技術存在的缺陷，特別是針對現有技術存在的難以兼顧算法性能和模型效率，無法有效部署應用于計算和存儲資源有限的嵌入式移動平臺，以及常用作為輸入的sRGB格式圖像經壓縮處理后信息丟失等技術問題和不足，創造性地提出一種基于RAW圖像的低弱光圖像增強方法與裝置。

本發明的創新點包括：