[發明專利]基于插值與近紅外的彩色圖像處理的方法和裝置

無效

• 申請號: 201110342466.6
• 申請日: 2011-11-02
• 公開（公告）號: CN102404581A
• 公開（公告）日: 2012-04-04
• 發明（設計）人: 戴瓊海;羅曉燕
• 申請（專利權）人: 清華大學;北京航空航天大學
• 主分類號: H04N9/04
• 分類號: H04N9/04;H04N9/64
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

技術領域

本發明涉及計算機視覺領域，特別涉及一種基于插值與近紅外的彩色圖像處理的方法和裝置。

背景技術

普通的單芯片數碼相機通過在成像傳感器(CCD，Charge-Coupled?Device)前設置一個顏色過濾器陣列(CFA，color?filter?array)以獲取顏色面板圖像，每個像素點只捕獲一個不同的顏色光譜信息，分別對應紅(R)，綠(G)和藍(B)。然后對該顏色面板圖像通過顏色插值方法獲得彩色圖像，這一過程也叫做去馬賽克效應。大多數的硅材質CCD可以感應200-1100nm的光譜信息。一般人眼可以感知的光譜波長范圍在400至700nm之間，700-1100nm波長范圍的光譜屬于近紅外(NIR，Near?Infrared)光譜。由于近紅外光譜接近可見光，具有與可見光不同但更多的亮度和空間信息。考慮到這一特性，近年來聯合近紅外和可見光圖像已被利用來改善一些視覺和攝影任務。

一般來說，這些應用集中在兩個方面：一方面是基于近紅外圖像的額外信息提取原始場景信息，如光源檢測，陰影檢測，材料分類；另一方面是結合彩色和近紅外圖像來增強圖像，例如以改善高動態范圍(HDR，High-Dynamic?Range)彩色渲染，近紅外圖像染色，彩色圖像去噪，清晰化，去霧等等。這些應用都是先進行彩色插值處理得到常規彩色圖像，然后再進行可見/近紅外圖像聯合處理。

對同一場景的聯合近紅外和可見光成像，是通過分離或濾出其中某一部分完成的。目前出現的可見光/近紅外聯合成像系統主要集中在配制熱鏡的雙相機系統。比如說利用變換設置NIR或可見光濾光鏡來實現，而Süsstrunk等人則直接利用一個雙CCD的多譜相機。

但是，運用上述傳統方法的主要缺陷在于運算量龐大，在進行交替迭代插值的約束限制時需要進行觀察約束和細節約束，運算比較復雜，噪聲點較多，得到的圖像信息質量較差，無法有效的快速處理彩色圖像，圖4b表示的即是運用上述傳統方法進行插值處理后的圖像效果。

發明內容

本發明的目的旨在至少解決上述技術缺陷之一。

為此，本發明的第一個目的在于提出一種基于插值與近紅外的彩色圖像處理的方法，該方法可以有效滿足近紅外和可見光圖像聯合應用的需要。

本發明的第二個目的在于提出一種基于插值與近紅外的彩色圖像處理的裝置，該裝置可以有效滿足近紅外和可見光圖像聯合應用的需要。

為實現上述目的，本發明第一方面的實施例提出了一種基于插值與近紅外的彩色圖像處理的方法，包括如下步驟：

S1：向內存中輸入基于同一場景的傳感器源圖像和近紅外圖像，對所述傳感器源圖像進行顏色插值以得到多幅單色通道圖像，并獲取所述近紅外圖像的先驗信息；

S2：針對每幅彩色圖像，根據所述近紅外圖像的先驗信息對所述多幅單色通道圖像進行梯度差稀疏約束，得到梯度差稀疏約束后的像素信息，根據所述多幅單色通道圖像對應的多個單色通道之間細節約束，更新所述梯度差稀疏約束后的像素信息以得到細節約束后的像素信息；

S3：根據所述細節約束后的像素信息，計算每幅彩色圖像對應的細節約束后的多個通道的像素信息的均方誤差；

S4：對所述相鄰兩幅彩色圖像的細節約束后的多個通道的像素信息的均方誤差和預定閾值進行比較，如果所述細節約束后的多個通道的像素信息的均方誤差大于等于所述預定閾值，則將所述細節約束后的多個通道的像素信息作為所述步驟S2中的所述多幅單色通道圖像的像素信息，重復所述步驟S2至S4，直至所述相鄰兩幅彩色圖像的均方誤差小于所述預定閾值；

S5：當所述相鄰兩幅彩色圖像的均方誤差小于所述預定閾值時，根據所述細節約束后的多個通道的像素信息生成所述每幅彩色圖像對應的插值融合圖像。

根據本發明的一個實施例的基于插值與近紅外的彩色圖像處理的方法，所述傳感器源圖像為Bayer顏色模式圖像。

根據本發明的一個實施例的基于插值與近紅外的彩色圖像處理的方法，所述近紅外圖像的先驗信息為所述近紅外圖像的梯度。

根據本發明的一個實施例的基于插值與近紅外的彩色圖像處理的方法，所述多幅單色通道圖像對應的多個單色通道包括R通道、G通道和B通道。

根據本發明的一個實施例的基于插值與近紅外的彩色圖像處理的方法，所述梯度差稀疏約束采用如下公式進行計算：