[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810991787.0
• 申請(qǐng)日: 2018-08-29
• 公開（公告）號(hào): CN109272024B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 王蒙;劉興旺;梁敏
• 申請(qǐng)（專利權(quán)）人: 昆明理工大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法，其特征在于：首先針對(duì)待融合圖片特性選定訓(xùn)練數(shù)據(jù)集并對(duì)其進(jìn)行預(yù)處理，針對(duì)待融合圖片選取若干圖片作為訓(xùn)練數(shù)據(jù)集，并對(duì)選取的圖片進(jìn)行模糊處理，形成由原清晰圖片和模糊圖片組成的訓(xùn)練數(shù)據(jù)集；

然后通過監(jiān)督訓(xùn)練利用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)訓(xùn)練數(shù)據(jù)集獲得模型權(quán)值，將原清晰圖片和模糊圖片輸入卷積神經(jīng)網(wǎng)絡(luò)模型得到對(duì)應(yīng)的特征映射，將模糊圖片的特征映射通過融合法則得到了融合后的特征映射，計(jì)算原清晰圖片的特征映射和模糊圖片融合后的特征映射的差值，并使差值達(dá)到最小誤差，獲得對(duì)待融合圖片分析的前饋網(wǎng)絡(luò)權(quán)值weight_f與合成圖片的反饋網(wǎng)絡(luò)權(quán)值weight_b；

最后將訓(xùn)練獲得的權(quán)值應(yīng)用到模型上對(duì)圖像進(jìn)行融合，將一張白噪聲圖片和待融合圖片輸入卷積神經(jīng)網(wǎng)絡(luò)模型得到對(duì)應(yīng)的特征映射，利用融合法則對(duì)待融合圖片的特征映射進(jìn)行融合進(jìn)而獲得融合后的特征映射，計(jì)算待融合圖片融合后的特征映射與白噪聲圖片的特征映射的差值，并使差值最小化，對(duì)此時(shí)的白噪聲圖片進(jìn)行逆運(yùn)算得到最終的融合圖片。

2.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法，其特征在于：所述卷積神經(jīng)網(wǎng)絡(luò)模型采用VGG16模型，訓(xùn)練和融合過程中的融合法則均采用SIGMOID函數(shù)，具體步驟如下：

Step1訓(xùn)練數(shù)據(jù)集的選取與處理

將選取的清晰圖片I_A模糊成圖片和和的模糊區(qū)域不同；

Step2利用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練

將圖片I_A、和輸入到初始的VGG16模型中得到對(duì)應(yīng)的5層特征映射

其中，Nwⁱ為對(duì)應(yīng)的VGG16網(wǎng)絡(luò)層，和分別對(duì)應(yīng)I_A、和在各個(gè)層上得到的相應(yīng)的特征映射，i為VGG16的層數(shù)；

將特征映射和通過sigmoid融合法則得到融合后的特征映射

計(jì)算誤差根據(jù)深度學(xué)習(xí)框架中的反向傳播算法不斷修正誤差最終達(dá)到最小誤差，此時(shí)獲得兩組權(quán)值數(shù)據(jù)即對(duì)待融合圖片分析的前饋網(wǎng)絡(luò)權(quán)值weight_f與合成圖片的反饋網(wǎng)絡(luò)權(quán)值weight_b；

Step3利用Step2得到的兩組網(wǎng)絡(luò)權(quán)值對(duì)待融合圖片進(jìn)行融合

在VGG16模型初始化時(shí)讀入兩組權(quán)值數(shù)據(jù)，將一張白噪聲圖片I_w、待融合圖片I₁和I₂經(jīng)過VGG16模型得到對(duì)應(yīng)的5層特征映射

其中為帶有訓(xùn)練權(quán)值的對(duì)應(yīng)的VGG16網(wǎng)絡(luò)層，和分別對(duì)應(yīng)I_w、I₁和I₂在各個(gè)層上得到的相應(yīng)的特征映射，i為VGG16的層數(shù)；

對(duì)和通過sigmoid融合法則得到融合后的特征映射再迭代計(jì)算和之間的誤差并使誤差L_s最小化，此時(shí)的白噪聲圖片映射已經(jīng)無限接近融合的映射此時(shí)的白噪聲圖片即融合圖片最后對(duì)W_F運(yùn)行分解圖片時(shí)的逆運(yùn)算，獲得最終的融合圖片I_F，