[發明專利]一種低照度條件下含有近紅外彩色圖像顏色復原方法

在審

• 申請號: 202011101487.4
• 申請日: 2020-10-15
• 公開（公告）號: CN112399164A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 石俊生;李瑤;肖銳;黃小喬;邰永航;程飛燕;王遠方舟
• 申請（專利權）人: 云南師范大學
• 主分類號: H04N9/73
• 分類號: H04N9/73;H04N5/217;H04N5/33
• 代理公司: 云南凌云律師事務所 53207
• 代理人: 董建國

本發明公開了一種低照度條件下含有近紅外彩色圖像顏色復原方法，是一種利用普通彩色CMOS/CCD在低照度條件下提高獲取真彩色圖像質量的方法。方法包括訓練和復原過程，訓練包括四個步驟：低照度條件下用CMOS/CCD分別在“熱鏡”打開和關閉拍攝得到含有和不含近紅外的ColorChecker標準24色卡圖像2幅；分別對圖像進行降噪處理；分別求出圖像中每一色塊平均RGB值，得到含有和不含有近紅外的RGB訓練數據對；利用數據對，采用最小二乘方式得到從含有近紅外到真彩色圖像的變換矩陣。復原過程是應用時通過變換矩陣將含有近紅外圖像變換到真彩色圖像。本發明只需要ColorChecker標準24色卡；不需要增加近紅外輔助照明；是一種算法簡單提高低照度條件下獲取真彩色圖像及視頻質量方法。

技術領域

本發明提出一種低照度條件下含有近紅外彩色圖像顏色復原方法, 屬于顏色與數字成像技術領域，是一種低照度條件下提高真彩色圖像及視頻質量的方法。

背景技術

在低照度下用CCD/CMOS捕獲彩色圖像一直是一個難題，對低照度環境下捕獲的彩色圖像降噪和去模糊是非常困難的^[1]。一般相機采用兩種方法，一是采用可見光閃光燈，二是采用延長曝光時間。使用閃光燈會產生陰影和鏡面反射影響顏色采集，長時間曝光會使拍攝圖像中同時產生強噪聲和運動模糊，對于采集視頻圖像將降低幀頻。研究者提出許多復雜的圖像去噪^[2]和去模糊方法^[3]，但難度較大，效果并不理想。在正常照明條件下，成像系統使用紅外光截止濾光片（IR-cut filter，稱“hot-mirror：熱鏡”）放置在傳感器的前面除去近紅外(NIR)。在低照度條件下，為了提高信噪比，一般移去“熱鏡”，并增加NIR輔助照明。由于NIR光源光譜完全不同于可見光光譜，夜間根本無法實現場景彩色真實獲取，此時采用黑白模式。視頻監控系統具有“白天/夜間”彩色/黑白切換模式。如何利用NIR波段提高低照度條件下真彩色圖像質量成為重要研究內容。

2009年，英國劍橋大學Hertel團隊研究了在夜間不同照明環境高動態范圍條件下^[1]，去掉“熱鏡”獲取含有NIR的彩色圖像和灰度圖像的顏色校正問題。去掉熱鏡后采集的彩色圖像R'G'B'包含了NIR，必須從R'G'B'信號中消除NIR信號部分，他們原理上提出估計入射光中NIR部分。矩陣元素采用Macbeth色卡作為訓練樣本得到。實驗結果表示，對于色卡和附近的顏色以及類似的照明條件下的顏色復原效果很好，但對于夜間照明光源下的不同物體，顏色復原效果較差，特別是對不是反射顏色，而是自發光的車燈顏色很差，其亮度可能遠遠超出設定的范圍。2009和2011年，瑞士Susstrunk研究團隊研究了在傳統傳感器陣列去掉“熱鏡”^[4]，增加一個濾掉可見光濾光片，兩次連續拍攝同一場景的可見光和NIR圖像，設計了一個去馬賽克插值算法估計可見和NIR信息。用25個圖像作為訓練集來計算相關矩陣和相應的CFA和去馬賽克矩陣，剩下圖像用來測試獲得的CFA和去馬賽克矩陣的有效性。2013年，日本Takeuchi研究團隊提出了用含有噪聲的彩色圖像和一種近紅外輔助光源的NIR圖像的合成彩色成像的方法^[5]。其方法是合成的彩色圖像的亮度分量和色度分量使用不同的圖像源估計。通過光譜估計方法從閃光圖像估計亮度分量，從含噪聲彩色圖像去噪后估計色度分量。提出的方法優于單純的彩色圖像降噪，也優于已有的噪聲彩色圖像和近紅外閃光拍攝的灰度圖像。2015年，東京大學Sugimura團隊提出了一種在極低光照條件下獲取彩色圖像序列的成像系統和方法^{[6, 7]}。系統分別同時采集近紅外灰度圖像（NIR）和可見光彩色圖像（RGB）。RGB采用長曝光時間來獲取足夠的顏色信息，NIR采用短曝光時間獲取場景結構信息。使用捕獲的同景圖像對，采取基于梯度和顏色相關的自適應平滑算法重建一個降噪、去模糊、清晰的彩色圖像序列。