[發明專利]一種基于混合多尺度分析的紅外與可見光圖像融合算法

有效

• 申請號: 201710621620.0
• 申請日: 2017-07-27
• 公開（公告）號: CN107451984B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 江澤濤;吳輝
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 周雯

1.一種基于混合多尺度分析的紅外與可見光圖像融合算法，其特征在于：包括如下步驟：

步驟1：對紅外與可見光圖像分別進行NSCT分解，得到低頻子帶L_J(x,y)與高頻子帶H_j,r(x,y)，其中J為分解層數，j、r代表分解尺度和方向數；

步驟2：對低頻子帶采用靜態小波變換，得到一個低頻子帶和三個高頻子帶，分別采用局部能量與絕對值取大相結合和壓縮感知理論對低、高頻子帶進行融合，再進行小波逆變換得到NSCT重構的低頻子帶；

步驟3：判斷待融合圖像的清晰度，根據判決準則選取LSCN的增強層數；

步驟4：對最高層高頻子帶采用絕對值取大的融合規則，其余子帶采用改進PCNN模型進行融合；

步驟5：將融合得到的低頻子帶和高頻子帶進行NSCT逆變換，得到最終的融合圖像；

在步驟2中，所述采用局部能量與絕對值取大相結合對低頻子帶進行融合，其具體方法如下：

式中EN為局部區域能量，其定義為：

在步驟2中，所述采用壓縮感知理論對高頻子帶進行融合，其具體步驟如下：

1)將大小為m×n的高頻子帶圖像和分解成互不重疊且大小相同的子塊，其中j＝1,2,3，使用sym8小波基對每一塊子塊圖像進行稀疏化；

2)設計測量矩陣Φ，應用測量矩陣對輸入的高頻子帶系數進行測量采樣，得到測量向量和其中k＝1,2,...,m×n；

3)計算測量向量和的標準差SD^k與清晰度EAV^k，采用基于區域標準差、區域清晰度和S函數相結合的融合規則，得到融合的測量向量，即：

圖像標準差公式為：

其中

圖像清晰度公式為：

加權系數ω通過S函數得到，采用的S函數為：

其中，

f為S函數的收縮因子，并且f大于等于1，取f＝5；

4)對融合的測量向量進行稀疏重建，重建算法采用OMP，從而得到融合圖像的高頻子帶

將得到的SW^F與進行靜態小波重構得到最終用于NSCT重構的低頻子帶；

在步驟3中，具體方法如下：

圖像清晰度公式為：

根據式(8)計算圖像清晰度并將其與閾值λ比較，根據比較結果決定高頻系數增強的層數，即：

其中J為分解層數，S為源圖像的綜合清晰度，取α₁＝α₂＝0.5，λ＝27；

在步驟4中，具體融合規則如下：

為了提高圖像的視覺觀感，對除最高層高頻子帶n以外的其余子帶，采用改進的PCNN模型進行融合，通過比較PCNN神經元的點火幅度之和來確定融合系數，即：

其中M_ij(n)為PCNN輸出的脈沖點火幅度總和，j＝1,2,...,n-1，ε為自定義閾值，取ε＝0.002；

由于傳統PCNN的輸出采用硬限幅函數，不能反映出神經元點火的幅度差異，采用Sigmoid函數作為PCNN的輸出，可以更好的刻畫同步脈沖激發時在點火幅度上的差異，PCNN的輸出定義如下：

為了更好地表示圖像的邊緣信息，選用改進的拉普拉斯能量SML和局部空間頻率分別作為PCNN的外部輸入和鏈接系數；

SML定義如下：

空間頻率為：

其中RF，CF，MDF和SDF分別表示行頻率、列頻率、主對角頻率和副對角頻率，其公式如下：