[發(fā)明專利]基于多光譜的圖像融合設備、方法及圖像傳感器

有效

• 申請?zhí)枺?/td>: 201710074101.7
• 申請日: 2017-02-10
• 公開（公告）號: CN108419061B
• 公開（公告）日: 2020-10-02
• 發(fā)明（設計）人: 范蒙;俞海;浦世亮
• 申請（專利權）人: 杭州海康威視數(shù)字技術股份有限公司
• 主分類號: H04N9/04
• 分類號: H04N9/04;H04N5/235
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孫翠賢;項京

1.一種基于多光譜的圖像融合設備，其特征在于，包括：

光采集裝置、圖像處理器，以及具有五類感光通道的圖像傳感器，所述五類感光通道包括：紅綠藍RGB通道、紅外IR通道和全波段W通道；

所述光采集裝置，用于采集入射光對應的目標光；

所述圖像傳感器，用于通過所述RGB通道、IR通道和W通道，將所述目標光轉換為圖像信號；其中，將所述目標光轉換為圖像信號包括：在同一幀時間內進行多次曝光采集圖像信號，采集的圖像信號包括利用第一類曝光形成的圖像信號和利用第二類曝光形成的圖像信號；所述圖像傳感器對應的像素排列方式基于以下排布方式周期性重復：

其中，所述W通道對應的像素比例為二分之一，所述RGB通道和IR通道中，各類感光通道對應的像素比例相同，所述五類感光通道中，各類感光通道的像素排列方式為均勻地網(wǎng)狀式，W通道對應W像素，R通道對應R像素，G通道對應G像素，B通道對應B像素，IR通道對應IR像素；

所述圖像處理器，用于將轉換的所述圖像信號解析為RGB色彩信號和亮度信號，解析過程具體包括：在轉換的所述圖像信號包括第一類曝光形成的圖像信號和第二類曝光形成的圖像信號的情況下，利用第一類曝光形成的圖像信號，解析得到RGB色彩信號；利用第二類曝光形成的圖像信號，解析得到亮度信號；其中，解析所述RGB色彩信號和所述亮度信號兩類信號時所基于通道的組合涵蓋所述五類感光通道；并將所述RGB色彩信號和所述亮度信號進行融合處理，得到融合后圖像。

2.根據(jù)權利要求1所述的基于多光譜的圖像融合設備，其特征在于，所述圖像處理器將轉換的所述圖像信號解析為RGB色彩信號和亮度信號的過程包括：

對轉換的所述圖像信號中的W通道進行插值運算，生成與輸入分辨率相同的亮度信號，其中，所述輸入分辨率為轉換的所述圖像信號具有的分辨率；

對轉換的所述圖像信號中的RGB通道和IR通道進行插值運算，生成與所述輸入分辨率相同的各通道圖像信號；

遍歷所述各通道圖像信號，將所遍歷的R通道、G通道和B通道的值分別減去與對應像素位置相應的IR參數(shù)值，生成RGB色彩信號，所述IR參數(shù)值為對應像素位置的IR通道的值與預設修正值的乘積。

3.根據(jù)權利要求1所述的基于多光譜的圖像融合設備，其特征在于，所述圖像處理器將轉換的所述圖像信號解析為RGB色彩信號和亮度信號的過程包括：

對轉換的所述圖像信號中的RGB通道、IR通道和W通道進行插值運算，生成與輸入分辨率相同的各通道圖像信號；

利用各通道圖像信號、第一預定公式和第二預定公式，生成亮度信號；其中，所述第一預定公式為y=x1*R+ x2*G+ x3*B，所述x1、x2和x3為權重值，其中，所述第二預定公式為亮度信號=x4*W+x5*IR+x6*y，所述x4、x5和x6為權重值；

遍歷所述各通道圖像信號，將所遍歷的R通道、G通道和B通道的值分別減去與對應像素位置相應的IR參數(shù)值，生成第一備用RGB色彩信號，所述IR參數(shù)值為對應像素位置的IR通道的值與預設修正值的乘積；

遍歷所述各通道圖像信號，將所遍歷的R通道、G通道和B通道的值分別減去與對應像素位置相應的IR’，生成第二備用RGB色彩信號，其中，各個像素位置相應的IR’通過第三預定公式計算得到，其中，所述第三預定公式為：IR’=（R+G+B-W）/ n；

將所述第一備用RGB色彩信號和所述第二備用RGB色彩信號加權合成，生成RGB色彩信號。

4.根據(jù)權利要求1所述的基于多光譜的圖像融合設備，其特征在于，所述圖像處理器將所述RGB色彩信號和所述亮度信號進行融合處理，得到融合后圖像的過程包括：

將所述RGB色彩信號轉換為YUV信號，所述YUV信號為明亮度及色度信號；

提取所述YUV信號中的色度UV分量；

對所述UV分量與所述亮度信號進行組合，形成新的YUV信號；

將所形成的新的YUV信號確定為融合后圖像，或者，將所形成的新的YUV信號轉換為RGB信號，并將轉換為的RGB信號確定為融合后圖像。