[發(fā)明專利]可實(shí)時(shí)的可見(jiàn)光圖像與紅外圖像多通道融合方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210585859.8
• 申請(qǐng)日: 2022-05-27
• 公開(kāi)（公告）號(hào): CN114677316B
• 公開(kāi)（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 周振彬;婁珂;賓朝林;秦文禮
• 申請(qǐng)（專利權(quán)）人: 深圳頂匠科技有限公司
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T5/20
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 江銀會(huì)

1.一種可實(shí)時(shí)的可見(jiàn)光圖像與紅外圖像多通道融合方法，其特征在于，所述方法包括：

對(duì)用于圖像融合的可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光矩陣進(jìn)行分解，得到所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光低頻矩陣和所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光高頻矩陣，并對(duì)用于圖像融合的紅外圖像對(duì)應(yīng)的紅外矩陣進(jìn)行分解，得到所述紅外圖像對(duì)應(yīng)的紅外低頻矩陣和所述紅外圖像對(duì)應(yīng)的紅外高頻矩陣，其中，所述可見(jiàn)光矩陣中每個(gè)元素值均對(duì)應(yīng)所述可見(jiàn)光圖像中其中一個(gè)像素點(diǎn)的色彩量化值，所述紅外矩陣中每個(gè)元素值均對(duì)應(yīng)所述紅外圖像中其中一個(gè)像素點(diǎn)的溫度量化值；

根據(jù)確定出的所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光低頻權(quán)重和所述紅外圖像對(duì)應(yīng)的紅外低頻權(quán)重，融合所述可見(jiàn)光低頻矩陣和所述紅外低頻矩陣，得到低頻融合矩陣，并根據(jù)確定出的所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光高頻權(quán)重和所述紅外圖像對(duì)應(yīng)的紅外高頻權(quán)重，融合所述可見(jiàn)光高頻矩陣和所述紅外高頻矩陣，得到高頻融合矩陣；

基于預(yù)設(shè)融合方式融合所述低頻融合矩陣和所述高頻融合矩陣，生成所述可見(jiàn)光圖像和所述紅外圖像對(duì)應(yīng)的融合矩陣，所述融合矩陣用于生成所述可見(jiàn)光圖像和所述紅外圖像的融合圖像；

在所述根據(jù)確定出的所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光高頻權(quán)重和所述紅外圖像對(duì)應(yīng)的紅外高頻權(quán)重，融合所述可見(jiàn)光高頻矩陣和所述紅外高頻矩陣，得到高頻融合矩陣之前，所述方法還包括：

確定所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光高頻權(quán)重和所述紅外圖像對(duì)應(yīng)的紅外高頻權(quán)重；

其中，所述確定所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光高頻權(quán)重和所述紅外圖像對(duì)應(yīng)的紅外高頻權(quán)重，包括：

根據(jù)所述可見(jiàn)光矩陣經(jīng)過(guò)高斯濾波處理之后所得的可見(jiàn)光高斯濾波矩陣和所述可見(jiàn)光矩陣經(jīng)過(guò)中值濾波處理之后所得的可見(jiàn)光中值濾波矩陣，計(jì)算所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光范數(shù)矩陣，并根據(jù)所述紅外矩陣經(jīng)過(guò)高斯濾波處理之后所得的紅外高斯濾波矩陣和所述紅外矩陣經(jīng)過(guò)中值濾波處理之后所得的紅外中值濾波矩陣，計(jì)算所述紅外圖像對(duì)應(yīng)的紅外范數(shù)矩陣；

根據(jù)所述可見(jiàn)光范數(shù)矩陣和所述紅外范數(shù)矩陣，計(jì)算所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光高頻權(quán)重和所述紅外圖像對(duì)應(yīng)的紅外高頻權(quán)重。

2.根據(jù)權(quán)利要求1所述的可實(shí)時(shí)的可見(jiàn)光圖像與紅外圖像多通道融合方法，其特征在于，所述對(duì)用于圖像融合的可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光矩陣進(jìn)行分解，得到所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光低頻矩陣和所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光高頻矩陣，包括：

基于預(yù)先確定出的用于均值卷積運(yùn)算的均值濾波算子和所述均值卷積運(yùn)算對(duì)應(yīng)的鄰域窗口尺寸，對(duì)用于圖像融合的可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光矩陣進(jìn)行卷積運(yùn)算處理，得到所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光低頻矩陣：

imgC_B=conv(avg,imgC)，

其中，imgC_B用于表示所述可見(jiàn)光低頻矩陣，avg用于表示所述均值濾波算子，imgC用于表示所述可見(jiàn)光矩陣，conv(avg,imgC)用于表示針對(duì)avg和imgC的卷積運(yùn)算算法；

基于所述可見(jiàn)光矩陣和所述可見(jiàn)光低頻矩陣，確定所述可見(jiàn)光圖像對(duì)應(yīng)的可見(jiàn)光高頻矩陣：

imgC_F=imgC-imgC_B，

其中，imgC_F用于表示所述可見(jiàn)光高頻矩陣。

3.根據(jù)權(quán)利要求1或2所述的可實(shí)時(shí)的可見(jiàn)光圖像與紅外圖像多通道融合方法，其特征在于，所述可見(jiàn)光范數(shù)矩陣和所述紅外范數(shù)矩陣分別為：

imgC_D(i,j)=||imgC_G(i,j)-imgC_M(i,j)||_p，

imgT_D(i,j)=||imgT_G(i,j)-imgT_M(i,j)||_p，

其中，(i,j)用于表示所述可見(jiàn)光圖像以及所述紅外圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)的坐標(biāo)值，imgC_D(i,j)用于表示所述可見(jiàn)光范數(shù)矩陣，imgC_G(i,j)用于表示所述可見(jiàn)光高斯濾波矩陣，imgC_M(i,j)用于表示所述可見(jiàn)光中值濾波矩陣，imgT_D(i,j)用于表示所述紅外范數(shù)矩陣，imgT_G(i,j)用于表示所述紅外高斯濾波矩陣，imgT_M(i,j)用于表示所述紅外中值濾波矩陣；

所述可見(jiàn)光高頻權(quán)重和所述紅外高頻權(quán)重分別為：

，

；

其中，imgC_W(i,j)用于表示所述可見(jiàn)光高頻權(quán)重，imgT_W(i,j)用于表示所述紅外高頻權(quán)重，a、b均為預(yù)設(shè)權(quán)重值，且a+b=1。