[發明專利]基于場景識別的夜視圖像彩色融合方法

在審

• 申請號: 201611222714.2
• 申請日: 2016-12-27
• 公開（公告）號: CN106815826A
• 公開（公告）日: 2017-06-09
• 發明（設計）人: 肖剛;瞿哲;徐寧文;何方;陳曉冬
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/46;G06K9/62
• 代理公司: 上海交達專利事務所31201
• 代理人: 王毓理,王錫麟

1.一種基于場景識別的夜視圖像彩色融合方法，其特征在于，通過聯合提取待處理場景圖像中的GIST特征，然后利用SVM分類器進行場景類別分類，并通過包含色彩度、梯度相似性和互信息的融合質量評價方法在對應類別的場景圖像中匹配最佳的參考圖像，最后將待處理場景圖像轉移到lαβ顏色空間，并與匹配到的參考圖像進行色彩傳遞，最終得到具有自然感的紅外與微光圖像彩色融合結果。

2.根據權利要求1所述的方法，其特征是，所述的聯合提取，對待處理場景圖像預先進行K-L變換，得到各通道相互獨立的四維顏色向量；然后通過NSCT分解，將目標網格劃分為二級網格；最后根據劃分后的網格對采用Gabor濾波器通過尺度和旋轉變換擴展而成的多尺度多方向Gabor濾波器組對圖像濾波，以獲取GIST特征。

3.根據權利要求2所述的方法，其特征是，所述的劃分是指：計算紅外-微光4x4網格局部能量比，能量比最大值所在網格為目標網格，將目標網格劃分為二級網格。

4.根據權利要求2所述的方法，其特征是，所述的圖像濾波是指：首先將大小為rxc的圖片的R、G、B三通道取均值，轉為灰度圖像f(x₀,y₀)，其次將灰度圖劃分為n_b×n_b個子網格，然后利用m尺度n方向的Gabor濾波器組與每個子網格卷積并級聯，即F(x,y,θ,ω₀)＝f(x,y)*G(x₀,y₀,θ,ω₀)后提取得到每個子網格的特征。

5.根據權利要求2所述的方法，其特征是，所述的多尺度多方向Gabor濾波器組，具體為：G_mn(x₀,y₀,θ,ω₀)＝a^-mG_mn(x₀',y₀',θ,ω₀)，其中：a^-m為尺度因子，θ為旋轉角度，m為尺度數，n為方向數，x'＝a^-m(xcosθ+ysinθ)，y'＝a^-m(-xsinθ+ycosθ)，θ＝nπ/(n+1)，x，y為空間域像素點的位置，ω₀為濾波器的中心頻率，θ為Gabor小波的方向，σ為高斯函數沿兩個坐標軸的標準方差，exp(jω₀x₀)為交流部分，為直流補償。

6.根據權利要求1所述的方法，其特征是，所述的融合質量評價方法是指：利用圖像的色彩度、梯度相似性和互信息，將對應類別圖像庫中的圖像作為參考圖像，與待處理圖像進行彩色融合并計算彩色融合評價指標值，指標值最大時為選取的最佳參考圖像。

7.根據權利要求1或6所述的方法，其特征是，所述的互信息其中：F和A分別表示融合圖像和源圖像，hF，A為F和A的歸一化聯合灰度直方圖，hF和hA為歸一化的邊緣梯度直方圖，L是灰度級數。

8.根據權利要求1或6所述的方法，其特征是，所述的融合質量，即其中：α，β和γ為調節系數，C為顏色相似度，G為梯度相似性；Q為互信息質量評價部分Q(A,B,F)＝λM(A,F)+(1-λ)M(B,F)，其中：A和B分別表示紅外與微光圖像，F是彩色融合后的圖像，λ是空間頻率系數。

9.根據權利要求1或6所述的方法，其特征是，所述的色彩度，即Hasler顏色矩陣其中：μ和σ分別表示顏色成分空間rg＝R-B和yb＝0.5(R+G)-B的均值和方差，將C歸一化以后即可得到融合圖像與參考圖像之間的顏色相似度

10.根據權利要求1所述的方法，其特征是，所述的轉移，具體是指：將待處理場景圖像的灰度值分別作為RGB空間中的R、G通道值，B通道值可設置為0，從而獲得了偽彩色融合圖像，并作為輸入圖像，使用映射矩陣將輸入圖像從RGB顏色空間轉換到lαβ顏色空間，并作為更新后的輸入圖像。

11.根據權利要求10所述的方法，其特征是，所述的映射矩陣包括：

和