[發明專利]一種圖像融合方法及設備

在審

• 申請號: 201910407515.6
• 申請日: 2019-05-16
• 公開（公告）號: CN111951199A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 任世強
• 申請（專利權）人: 武漢TCL集團工業研究院有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李艷麗

1.一種圖像融合方法，其特征在于，包括：

獲取待處理的目標源圖像；所述目標源圖像包括同一場景對應的待處理的目標黑白源圖像和待處理的目標彩色源圖像；

將所述目標源圖像輸入到預設的圖像融合模型進行處理，得到由所述目標黑白源圖像和所述目標彩色源圖像融合成的目標彩色圖像；其中，所述圖像融合模型由樣本圖像集訓練得到，所述樣本圖像集包括多個樣本圖像組，所述樣本圖像組包括同一場景對應的樣本黑白源圖像、樣本彩色源圖像和樣本彩色參照圖像，在訓練過程中，所述圖像融合模型的輸入為所述樣本圖像組，所述圖像融合模型的輸出為由所述樣本黑白源圖像和所述樣本彩色源圖像融合成的彩色圖像。

2.如權利要求1所述的圖像融合方法，其特征在于，所述獲取待處理的目標源圖像，包括：

獲取同一場景對應的初始目標黑白源圖像和初始目標彩色源圖像；

對所述初始目標黑白源圖像和所述初始目標彩色源圖像進行校準，得到待處理的目標黑白源圖像和待處理的目標彩色源圖像。

3.如權利要求1-2任一項所述的圖像融合方法，其特征在于，在將所述目標源圖像輸入到預設的圖像融合模型進行處理，得到由所述目標黑白源圖像和所述目標彩色源圖像融合成的目標彩色圖像之前，還包括：

獲取訓練樣本數據，基于所述訓練樣本數據獲取樣本圖像集；

通過對抗生成網絡對所述樣本圖像集進行訓練，得到預設的圖像融合模型；所述對抗生成網絡包括生成器網絡和判別器網絡。

4.如權利要求3所述的圖像融合方法，其特征在于，所述獲取訓練樣本數據，基于所述訓練樣本數據獲取樣本圖像集，包括：

獲取同一場景的第一分辨率黑白源圖像和第一分辨彩色圖像；

將所述第一分辨彩色圖像進行下采樣處理，獲取彩色源圖像；

將同一場景對應的所述黑白源圖像、所述第一分辨彩色參照圖像和所述彩色源圖像標記為一組樣本圖像組。

5.如權利要求3所述的圖像融合方法，其特征在于，所述通過對抗生成網絡對所述樣本圖像集進行訓練，得到預設的圖像融合模型，包括：

分別將不同場景各自對應的所述樣本黑白源圖像和所述樣本彩色源圖像輸入至所述生成器網絡進行訓練，得到樣本融合圖像；

將所述樣本融合圖像與所述第一分辨彩色圖像輸入所述判別器網絡，得到判別結果；

當所述判別器網絡與所述生成器網絡在協同訓練過程中滿足預設的停止訓練條件時，停止訓練，將當前的所述生成器網絡作為預設的圖像融合模型。

6.一種圖像融合裝置，其特征在于，包括：

第一獲取單元，用于獲取待處理的目標源圖像；所述目標源圖像包括同一場景對應的待處理的目標黑白源圖像和待處理的目標彩色源圖像；

處理單元，用于將所述目標源圖像輸入到預設的圖像融合模型進行處理，得到由所述目標黑白源圖像和所述目標彩色源圖像融合成的目標彩色圖像；其中，所述圖像融合模型由樣本圖像集訓練得到，所述樣本圖像集包括多個樣本圖像組，所述樣本圖像組包括同一場景對應的樣本黑白源圖像、樣本彩色源圖像和樣本彩色參照圖像，在訓練過程中，所述圖像融合模型的輸入為所述樣本圖像組，所述圖像融合模型的輸出為由所述樣本黑白源圖像和所述樣本彩色源圖像融合成的彩色圖像。

7.如權利要求6所述的圖像融合裝置，其特征在于，所述第一獲取單元具體用于：

獲取同一場景對應的初始目標黑白源圖像和初始目標彩色源圖像；

對所述初始目標黑白源圖像和所述初始目標彩色源圖像進行校準，得到待處理的目標黑白源圖像和待處理的目標彩色源圖像。

8.如權利要求6所述的圖像融合裝置，其特征在于，還包括：

第二獲取單元，用于獲取訓練樣本數據，基于所述訓練樣本數據獲取樣本圖像集；

訓練單元，用于通過對抗生成網絡對所述樣本圖像集進行訓練，得到預設的圖像融合模型；所述對抗生成網絡包括生成器網絡和判別器網絡。