[發明專利]圖像融合方法、圖像融合模型的訓練方法、裝置和設備

有效

• 申請號: 202110400426.6
• 申請日: 2021-04-14
• 公開（公告）號: CN113112439B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 魏巍;汪濤;白春夢;郭文彬;胡繼瑤
• 申請（專利權）人: 展訊半導體（南京）有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/0464;G06N3/084
• 代理公司: 上海恒銳佳知識產權代理事務所(普通合伙) 31286
• 代理人: 黃海霞

1.一種圖像融合方法，其特征在于，該方法包括：

獲取同一取景范圍下的M張圖像，所述M張圖像的圖像特征不同，M為大于1的正整數；

將所述M張圖像輸入至圖像融合模型進行圖像融合，輸出合并圖像，所述合并圖像包括所述M張圖像的圖像特征；

其中，所述圖像融合模型是預先利用訓練樣本數據對卷積神經網絡模型進行訓練得到的，所述訓練樣本數據包括同一取景范圍下的聚焦圖像和散焦圖像；所述圖像融合模型包括用于提取圖像特征的第一神經網絡部分和用于圖像特征融合的第二神經網絡部分，所述第一神經網絡部分的卷積層包括L個通路，所述L個通路用于并行地提取所述M張圖像的圖像特征，所述L個通路的L個輸出結果，以及L個輸出結果的融合結果作為所述第二神經網絡部分的輸入，所述第二神經網絡部分用于對所述L個通路的L個輸出結果和所述L個輸出結果的融合結果，進行融合。

2.一種圖像融合模型的訓練方法，其特征在于，所述訓練方法用于對待訓練的卷積神經網絡模型進行多次訓練，以獲得圖像融合模型，其中，所述訓練方法包括如下步驟：

獲取訓練圖像樣本集合，所述訓練圖像樣本集合包括U組圖像，所述U組圖像中的每組圖像包括同一取景范圍內的聚焦圖像和K張散焦圖像，所述K張散焦圖像的圖像特征不同，U和K為大于1的正整數；

針對所述U組圖像中的每組圖像，分別執行如下操作：將第一組圖像中的K張散焦圖像輸入到待訓練的卷積神經網絡模型中，生成包括所述K張散焦圖像的圖像特征的合成圖像；其中，所述第一組圖像為所述U組圖像中的任意一組圖像，所述圖像融合模型設置有網絡模型參數；根據所述合成圖像與所述第一組圖像中的聚焦圖像之間的匹配程度調整所述網絡模型參數，得到調整后的網絡模型參數；

生成包括調整后的網絡模型參數的圖像融合模型；

其中，所述圖像融合模型包括用于提取圖像特征的第一神經網絡部分和用于圖像特征融合的第二神經網絡部分，所述第一神經網絡部分的卷積層包括L個通路，所述L個通路用于并行地提取多張圖像的圖像特征，所述L個通路的L個輸出結果，以及L個輸出結果的融合結果作為所述第二神經網絡部分的輸入，所述第二神經網絡部分用于對所述L個通路的L個輸出結果和所述L個輸出結果的融合結果，進行融合，L為正整數。

3.根據權利要求2所述的訓練方法，其特征在于，所述根據所述合成圖像與所述第一組圖像中的聚焦圖像之間的匹配程度調整所述網絡模型參數，得到調整后的網絡模型參數，包括：

利用損失函數計算所述合成圖像與所述聚焦圖像之間的損失值；

利用所述損失值調整所述網絡模型參數，得到調整后的網絡模型參數。

4.根據權利要求3所述的方法，其特征在于，所述損失函數滿足如下公式：

其中，ω為損失值，m*n為L個源圖像中的任意一個圖像的圖像尺寸，Oi,j為網絡融合模型輸出的第(i,j)位置像素對應的像素值，I₁i,j為輸入至第一通路的第一源圖像的第(i,j)位置像素對應的像素值，I₂i,j為輸入至第二通路的第二源圖像的第(i,j)位置像素對應的像素值，I_Li,j為輸入至第L通路的第L源圖像的第(i,j)位置像素對應的像素值，其中，L個源圖像的圖像尺寸均相同。

5.根據權利要求3或4所述的方法，其特征在于，生成包括調整后的網絡模型參數的圖像融合模型，包括：

當所述待訓練的卷積神經網絡模型的迭代次數達到設定數值時或所述損失函數的損失值達到目標值時，生成包括調整后的網絡模型參數的圖像融合模型。