[發(fā)明專利]一種基于光場(chǎng)成像的多聚焦圖像融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011201016.0
• 申請(qǐng)日: 2020-11-02
• 公開（公告）號(hào): CN112132771B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 閆斌斌;張通;江奕蕾;劉雙喜;龐明慧
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T7/11
• 代理公司: 西安凱多思知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 劉新瓊

本發(fā)明公開了一種基于光場(chǎng)成像的多聚焦圖像融合方法，首先得到光場(chǎng)圖像的子孔徑圖像，再通過光場(chǎng)相機(jī)的主透鏡、微透鏡陣列、傳感器及成像平面之間的位置關(guān)系搭建重聚焦模型，并利用線面之間的三角關(guān)系推出重聚焦系數(shù)；然后通過調(diào)整重聚焦系數(shù)使圖像中不同的目標(biāo)分別聚焦至清晰度最高處；再由圖像清晰度評(píng)價(jià)函數(shù)——Tenengrad評(píng)價(jià)函數(shù)將重聚焦圖像劃分為多個(gè)部分，根據(jù)劃分部分建立mask掩膜并以此表示融合位置；利用拉普拉斯金字塔融合算法將經(jīng)過上述處理后的圖像進(jìn)行融合。該方法能保證飛行器可以獲得不同非合作目標(biāo)最清晰的特征信息，并減少背景變換給后續(xù)圖像處理工作帶來的干擾，能更好的滿足制導(dǎo)系統(tǒng)對(duì)準(zhǔn)確性的要求。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種圖像融合方法。

背景技術(shù)

圖像制導(dǎo)由于信息豐富、實(shí)時(shí)性強(qiáng)、制導(dǎo)精度高等優(yōu)點(diǎn)成為精確制導(dǎo)系統(tǒng)中常用的制導(dǎo)方式之一，在航空、航天領(lǐng)域得到廣泛的應(yīng)用。導(dǎo)引頭處安裝的攝像機(jī)實(shí)時(shí)獲取目標(biāo)信息，并分析處理相應(yīng)的圖像序列，從而解算出跟蹤目標(biāo)在實(shí)際背景中的相應(yīng)位置信息。目前圖像制導(dǎo)系統(tǒng)中大多使用單目相機(jī)，單目相機(jī)結(jié)構(gòu)簡(jiǎn)單且成本低，但由于其只能拍攝二維圖像導(dǎo)致大量可利用的光線深度信息被摒棄；且在面對(duì)多個(gè)非合作目標(biāo)時(shí)，傳統(tǒng)的先聚焦后拍照模式使單目相機(jī)無法在一張圖像中將多個(gè)目標(biāo)對(duì)焦至正確深度、導(dǎo)致目標(biāo)信息缺失、無法滿足制導(dǎo)過程中對(duì)準(zhǔn)確性的要求，多個(gè)不同的目標(biāo)拍攝不同聚焦深度的圖像又會(huì)使后續(xù)的圖像處理的步驟較為繁雜、無法滿足制導(dǎo)對(duì)實(shí)時(shí)性的要求；且多張圖像會(huì)使多個(gè)非合作目標(biāo)之間的相對(duì)信息產(chǎn)生較大變化、導(dǎo)致后續(xù)數(shù)據(jù)處理的工作量增加，這些都限制了圖像制導(dǎo)的發(fā)展。

由于光場(chǎng)相機(jī)在主透鏡和傳感器平面之間加入的微透鏡陣列能夠讓光線二次折射，使二維空間信息和二維角度信息同時(shí)被記錄，四維數(shù)據(jù)使光場(chǎng)相機(jī)擁有先拍照后聚焦的特性。重聚焦處理不僅可以避免失焦現(xiàn)象，還可以使圖像內(nèi)的多個(gè)目標(biāo)分別達(dá)到其清晰度最高的聚焦位置。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于光場(chǎng)成像的多聚焦圖像融合方法，首先得到光場(chǎng)圖像的子孔徑圖像，再通過光場(chǎng)相機(jī)的主透鏡、微透鏡陣列、傳感器及成像平面之間的位置關(guān)系搭建重聚焦模型，并利用線面之間的三角關(guān)系推出重聚焦系數(shù)；然后通過調(diào)整重聚焦系數(shù)使圖像中不同的目標(biāo)分別聚焦至清晰度最高處；再由圖像清晰度評(píng)價(jià)函數(shù)——Tenengrad評(píng)價(jià)函數(shù)將重聚焦圖像劃分為多個(gè)部分，根據(jù)劃分部分建立mask掩膜并以此表示融合位置；利用拉普拉斯金字塔融合算法將經(jīng)過上述處理后的圖像進(jìn)行融合。該方法能保證飛行器可以獲得不同非合作目標(biāo)最清晰的特征信息，并減少背景變換給后續(xù)圖像處理工作帶來的干擾，能更好的滿足制導(dǎo)系統(tǒng)對(duì)準(zhǔn)確性的要求。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案包括以下步驟：

步驟1：對(duì)光場(chǎng)相機(jī)拍攝圖像提取子孔徑圖像，子孔徑圖像中有N個(gè)目標(biāo)物；

步驟2：設(shè)置子孔徑圖像中每個(gè)目標(biāo)物的重聚焦系數(shù)，生成N幅聚焦深度不同的重聚焦圖像，每幅重聚焦圖像聚焦一個(gè)目標(biāo)物；

步驟3：將子孔徑圖像按照目標(biāo)物的位置分割成N個(gè)部分，每部分包含一個(gè)目標(biāo)物；再按照和子孔徑圖像相同的分割方法將N幅重聚焦圖像進(jìn)行分割；對(duì)每一幅重聚焦圖像，采用清晰度評(píng)價(jià)Tenengrad函數(shù)得到每個(gè)分割部分的Tenengrad函數(shù)值；在每一幅重聚焦圖像中，將Tenengrad函數(shù)值最高的部分權(quán)值記為1，其余部分權(quán)值記為0；

步驟4：根據(jù)Tenengrad函數(shù)值建立子孔徑圖像的mask掩模圖像，采用子孔徑圖像的mask掩模圖像建立每幅重聚焦圖像的高斯金字塔；再由高斯金字塔得到每幅重聚焦圖像的拉普拉斯金字塔；高斯金字塔和拉普拉斯金字塔均有M層，記兩個(gè)金字塔的最底層為第1層，最高層為第M層；

步驟5：用高斯金字塔的第i層減去第i-1層經(jīng)過上采樣和高斯卷積處理后的圖像，得到第i-1層的差分圖像，再將高斯金字塔的第1層進(jìn)行上采樣和高斯卷積后分別與第i-1層的差分圖像相加得到第i-1層的重構(gòu)圖像，從而得到每一層新的高斯金字塔圖像，把新的高斯金字塔圖像所有層疊加，得到重聚焦圖像重構(gòu)圖像；