[發明專利]一種基于注意力生成對抗網絡的多曝光圖像融合方法

在審

• 申請號: 202010219045.3
• 申請日: 2020-03-25
• 公開（公告）號: CN111429433A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 李曉光;吳超瑋;黃江魯;卓力;李嘉鋒
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于注意力生成對抗網絡的多曝光圖像融合方法，其特征在于：包括基于注意力機制的生成對抗網絡結構搭建，多曝光圖像融合生成網絡與判別網絡對抗訓練、多曝光圖像融合測試三部分；

首先，第一部分是進行基于注意力機制的生成對抗網絡搭建，總體網絡由生成網絡和判別網絡兩部分構成，在生成網絡中引入了注意力機制；網絡搭建具體包括以下步驟：

1)生成網絡結構搭建

生成網絡結構由特征提取和注意力機制融合構成；特征提取部分由輸出通道數為32的3×3卷積、PReLU激活操作，5個輸入輸出通道均為32的殘差塊模塊，再經過輸出通道為32的3×3卷積和PReLU激活操作來完成，將得到的特征圖與經過第一層卷積和激活操作的特征圖對應位置相加，即對一幅圖像完成了特征提取操作，得到一幅圖像的32個特征圖；同時對一個訓練對中的N幅輸入圖像中的每幅圖像都進行相同的特征提取，得到N幅圖像的32個特征圖，將它們級聯得到N×32個特征圖；

其中，每個殘差塊操作包括順序的1層3×3卷積，批歸一化操作和PReLU激活，然后，1層3×3卷積，和批歸一化操作，最后將上述操作的結果特征圖與輸入的特征圖對應位置相加，即可得到一次殘差塊的結果；

注意力模塊設計為級聯的混合注意力模塊，即先對輸入的特征圖進行通道注意力操作，將通道注意力權值與通道特征圖逐通道相乘，完成通道注意力操作；然后對通道注意力調整過的特征圖進行空間注意力操作，計算每個空間位置的權值，將權值與特征圖逐元素相乘，完成空間注意力操作；經過通道注意力和空間注意力的順序操作，則完成了混合注意力操作；

其中，通道注意力操作是基于通道平面進行兩種池化操作來提取注意力參數；分別計算輸入特征圖每個通道的全局Average pooling(平均值)和Max pooling(最大值)，得到與輸入特征圖尺度以及通道數量相同的特征向量，然后將兩個特征向量分別經過權值共享的多層感知機，將兩個特征向量線性相加后經過sigmoid激活操作得到通道注意力結果，即得到每個特征圖的權重；將通道注意力權值與對應的通道進行相乘，得到通道注意力調整后的特征圖；

空間注意力操作是所有通道的特征圖以空間位置為單位進行Average pooling(平均值)和Max pooling(最大值)，將其按通道維度拼接在一起得到與輸入特征圖尺度一致的2個權值矩陣；然后，將得到的特征圖進行7×7卷積操作，得到和輸入特征圖尺度一致的空間注意力權值矩陣，即得到每個空間位置的權重；對經過通道注意力操作之后，進行特征圖與空間注意力權值的逐元素相乘，完成混合注意力操作；

在經過注意力操作之后，進行3×3卷積操作，通過tanh激活函數得到輸出的融合結果；

2)判別網絡結構搭建

判別網絡與生成網絡相連，它接收生成網絡的結果以及生成網絡輸入圖像對應的Ground-truth，用于判斷兩個輸入圖像的真假；判別網絡包含10個卷積層，濾波器尺寸都為3×3，濾波器數目不斷增加，從64個增加到1024個，每2次增加一倍；在第2–8個卷積操作層，每個卷積層包含1個卷積運算，1個批量歸一化，1個LeakyReLU激活，只有第1個卷積層沒有批歸一化操作；接下來，對512個特征圖順序進行平均池化操作，卷積運算，LeakyReLU激活，再次卷積操作，最后用sigmoid函數激活輸出判別結果；

第二部分是多曝光圖像融合生成網絡與判別網絡對抗訓練；

首先是訓練數據的準備，降采樣然后分割，將每對圖像分成6塊；

對抗訓練方法是生成網絡和判別網絡交替訓練，先利用生成損失進行一次生成網絡訓練，反向傳播，然后利用判別損失進行一次判別網絡訓練，再反向傳播，這樣一直交替訓練；總的損失函數如公式(1)所示：

min_Gmax_Df(G,D)， (1)

以此達到那什均衡，完成訓練；

設計的生成網絡的損失函數由四部分組成，分別是圖像損失(l_mse)、感知損失(l_pe)、對抗損失(l_ad)和TV損失(l_tv)；

將4種損失按一定比例相加就是生成網絡損失，具體損失函數如公式(2)所示：

l_mef＝αl_mse+βl_pe+γl_ad+δl_tv， (2)

測試的數據集選用訓練部分選擇后剩余的數據，做降采樣處理，不裁剪，輸入測試程序，生成多曝光融合圖像；測試程序應用第二部分多曝光圖像融合生成網絡與判別網絡對抗訓練的結果，將對抗訓練得到的生成網絡的參數輸入測試程序進行多曝光圖像融合，生成多曝光融合圖像。