[發(fā)明專利]基于潛在低秩表示和結(jié)構(gòu)張量的圖像融合方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811055040.0
• 申請(qǐng)日: 2018-09-11
• 公開（公告）號(hào): CN109345494B
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 程博陽;金龍旭;李國(guó)寧
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T7/33
• 代理公司: 深圳市科進(jìn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44316
• 代理人: 曹衛(wèi)良

本發(fā)明提供的基于潛在低秩表示和結(jié)構(gòu)張量的圖像融合方法及裝置，針對(duì)現(xiàn)有雙通道PCNN模型在解決紅外圖像與可見光圖像融合問題時(shí)存在的不足，利用基于LatLRR算法構(gòu)成的LSR算子作為PCNN模型的外界刺激，解決紅外圖像與可見光圖像之間較大的差異性，并且利用基于結(jié)構(gòu)張量奇異值分解而構(gòu)成的TSV算子作為鏈接強(qiáng)度，表征圖像的特征變化，一定程度上可以解決紅外圖像與可見光圖像光譜差異較大而導(dǎo)致融合圖像對(duì)比度較低的問題，同時(shí)較完整地保留了豐富的紋理信息和細(xì)節(jié)信息，并且圖像過渡自然。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像融合領(lǐng)域，特別涉及一種基于潛在低秩表示和結(jié)構(gòu)張量的圖像融合方法及裝置。

背景技術(shù)

隨著數(shù)字圖像處理技術(shù)、數(shù)據(jù)融合技術(shù)的不斷發(fā)展，紅外(IR)與可見光(VI)圖像融合技術(shù)的研究已逐漸成為了研究熱點(diǎn)。紅外與可見光圖像融合就是將紅外圖像的顯著性特征與可見光圖像的梯度紋理特征相結(jié)合，從而有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測(cè)目標(biāo)。由于融合后的圖像可以把源圖像之間的優(yōu)點(diǎn)結(jié)合起來，因此該技術(shù)目前已廣泛應(yīng)用于軍事偵查、計(jì)算機(jī)視覺、安全監(jiān)控等多個(gè)領(lǐng)域。

針對(duì)IR與VI圖像之間的融合，目前主要有兩大類方法。第一類方法是基于多尺度分解(MST)的融合方法。MST工具如Curvelet變換，非下采樣Contourlet變換(NSCT)，剪切波變換(ST)等已經(jīng)成功用于圖像融合領(lǐng)域。該類方法可以很好地提取圖像的多尺度特征，但是在圖像重構(gòu)的過程中會(huì)平滑圖像的細(xì)節(jié)，并且容易引入頻譜混疊效應(yīng)，影響融合效果。另一類方法則是在空間域選取具有更加明顯特征的像素作為融合圖像的像素，其中最具有代表性的就是PCNN方法。由于PCNN特有的仿生機(jī)制，能夠保持輸入圖像空間二維信息的完整性，將圖像的信息特征與其視覺特性完美結(jié)合，因此可以獲得較好的融合效果。目前針對(duì)PCNN的研究，學(xué)者們從未停止，并且已經(jīng)提出了大量的改進(jìn)。傳統(tǒng)PCNN模型大多以單通道為主，其內(nèi)部含有大量不可省略的外設(shè)參數(shù)，并且多數(shù)都要靠經(jīng)驗(yàn)設(shè)置，這導(dǎo)致融合的時(shí)效性與準(zhǔn)確性大大降低。現(xiàn)有技術(shù)中，提出一種雙通道PCNN(DUAL-PCNN)模型解決了上述問題。DUAL-PCNN繼承了傳統(tǒng)PCNN模型的所有優(yōu)點(diǎn)，并且將單通道輸入變?yōu)殡p通道模型輸入。由于采用雙通道使其內(nèi)部集成了融合機(jī)制，因此很大程度上提高了PCNN模型的融合效果。作為PCNN模型內(nèi)部最重要的兩個(gè)參數(shù)，外界刺激與鏈接強(qiáng)度都反映了人眼視覺系統(tǒng)對(duì)圖像不同特征區(qū)域反應(yīng)的強(qiáng)烈程度。兩個(gè)參數(shù)的設(shè)置與選擇，也往往決定了最終的融合效果。為了對(duì)融合效果進(jìn)行提高，學(xué)者們分別采用拉普拉斯能量和、平均梯度、空間頻率等可以表征圖像局部特征的算子對(duì)兩個(gè)參數(shù)進(jìn)行自適應(yīng)設(shè)置。然而經(jīng)過大量實(shí)驗(yàn)發(fā)現(xiàn)，針對(duì)圖像光譜差異較大的IR與VI圖像融合，上述算子容易導(dǎo)致PCNN模型中外界刺激與鏈接強(qiáng)度值的穩(wěn)定性下降，因此最終的融合圖像往往存在目標(biāo)光暈和黑色偽影等問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種基于潛在低秩表示和結(jié)構(gòu)張量的圖像融合方法及裝置，解決了紅外圖像與可見光圖像光譜差異較大而導(dǎo)致融合圖像對(duì)比度偏低和出現(xiàn)大量黑色偽影等問題，可以更好地表達(dá)圖像的特征，將可見光的紋理信息與紅外圖像的顯著性特征完美結(jié)合，最終取得較好的融合效果

第一方面，本發(fā)明提供一種基于潛在低秩表示和結(jié)構(gòu)張量的圖像融合方法，所述方法包括：

獲取來自同一場(chǎng)景并進(jìn)行圖像配準(zhǔn)的紅外圖像和可見光圖像；

利用潛在低秩表示LatLRR算法對(duì)所述紅外圖像和所述可見光圖像進(jìn)行分解得到第一顯著性特征圖和第二顯著性特征圖，對(duì)所述第一顯著性特征圖和所述第二顯著性特征圖各自的灰度值進(jìn)行歸一化，分別對(duì)應(yīng)形成第一加權(quán)系數(shù)矩陣和第二加權(quán)系數(shù)矩陣；

利用所述第一加權(quán)系數(shù)矩陣和所述第二加權(quán)系數(shù)矩陣分別指導(dǎo)基于紅外顯著性紅外顯著性與可見光顯著性的原圖像自適應(yīng)加權(quán)疊加，將疊加后的系數(shù)矩陣歸一化構(gòu)成低秩顯著性LSR算子；