[發明專利]基于級聯殘差生成對抗網絡的SAR和光學圖像雙向翻譯方法

在審

• 申請號: 201910275216.1
• 申請日: 2019-04-04
• 公開（公告）號: CN111784560A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 徐豐;符士磊;金亞秋
• 申請（專利權）人: 復旦大學
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 上海元一成知識產權代理事務所(普通合伙) 31268
• 代理人: 吳桂琴

1.基于級聯殘差生成對抗網絡的SAR和光學圖像雙向翻譯方法，其特征在于，其包括步驟：

(1)從數據集中挑選部分SAR圖像和對應的光學圖像，并對之嚴格配準；

(2)對所有將使用的SAR和光學圖像預處理，包括降噪、歸一化和切片；

(3)采用監督學習的方式，將嚴格配對的SAR和光學圖像送入多尺度殘差生成對抗網絡中，迭代訓練該模型；

(4)采用非監督學習的方式，利用拓展數據集中非配對的光學或SAR圖像，迭代訓練待測試的圖像，改善翻譯結果；

所述的多尺度殘差生成對抗網絡，基于U-Net網絡結構，主體添加了skip connections的encoder-decoder結構，并在此基礎上添加輸入到decoder中間各層的連接；

所述的監督學習，是指饋送到網絡中的訓練樣本是嚴格配對的，翻譯得到的圖像有對應的真值逐像素地對比，有利于目標空間位置的對應和網絡的穩定訓練；

所述的非監督學習，是指基于少量嚴格配對樣本預訓練的級聯殘差對抗網絡。

2.根據權利要求1所述的方法，其特征在于，所述的多尺度殘差生成對抗網絡，主要包括，(1a)網絡結構基于U-Net，主體添加skip connections的encoder-decoder結構，能規避自編碼器的信息瓶頸導致的信息丟失；白包括，將輸入根據解碼器中特征圖的尺度相應地降采樣，并將降采樣后的圖像直接跳連接到解碼器的各個特征圖中，由此鼓勵網絡中各個尺度的特征圖學習到與輸入之間的差距，該網絡等效于學習輸入與輸出之間差距的殘差網絡；殘差的加入可以消除訓練解碼器過程中可能出現的梯度消失的問題；

(1b)損失函數基于Pix2Pix的網絡，鑒別器的損失函數滿足：

其中當i＝0，1時，p_data(i)分別表示真實光學和SAR圖像的分布，表示x服從p_data(i)分布，表示z服從p_data(j)分布。z表示輸入SAR(或光學)圖像，T(z)表示翻譯的光學(或SAR)圖像，x表示對應的真實光學(或SAR)圖像，D(□)表示鑒別器的輸出概率圖，對于鑒別器，最小化L(D)等同于將x分類為1，將T(z)分類為0；

遵循對抗原則，翻譯器的損失函數是

其中L_GAN(T)是兩個翻譯器的loss總和。跟鑒別器的目標相反，翻譯器希望生成足夠真實的圖像，以欺騙鑒別器將它們分類為1；

對抗損失函數輔以傳統的loss訓練，如L1或L2 loss；額外的衡量翻譯圖像T(z)和真實圖像x之間距離的L1范數的loss用于訓練翻譯器；

將上面兩個等式加權組合在一起，得到翻譯器的最終的損失函數L(T)

L(T)＝L_GAN(T)+βL_L1(T) (公式四)

L(T)是兩個翻譯器的目標函數，它們的參數同時更新；兩個鑒別器分別有一個損失函數L(D)，且被分別訓練；

(1c)訓練過程，自適應矩估計(Adaptive Moment Estimation，Adam)訓練算法用于同時訓練兩個翻譯器/鑒別器，遵循GAN訓練策略，一次迭代包括以下步驟：

a)前向傳播——首先，隨機初始化一對翻譯器和一對鑒別器，然后一小批SAR圖像被送入翻譯器A，生成假的光學圖像，同時一小批光學圖像被送到翻譯器B，生成假的SAR圖像，繼而，將真假光學圖像相繼送到同一個鑒別器A，分別生成兩個概率圖，真假SAR圖像則被送到鑒別器B，也分別生成兩張概率圖；

b)后向傳播——比較真假光學圖像的兩張概率圖的差異并作為loss用于優化鑒別器A，同時SAR圖像的概率圖的差異用于優化鑒別器B；該兩個loss相加作為翻譯器的GANloss，翻譯器需要最大化它們；還將直接比較真值和重構圖像的像素級的差異，以確保目標的位置一一對應；混合的loss被作為兩個翻譯器的最終的損失函數，然后應用反向傳播，以同時調整兩個翻譯器的可訓練參數；

前向傳播和后向傳播交替進行：batch size設置為1，使用4塊NVIDIA Titan X的GPU并行加速技術，同時輸入4對SAR和光學圖像，每次前向傳遞一對圖像生成對應的假的圖像，可根據損失函數計算可訓練參數的梯度；當四個線程的梯度都計算出來后，其均值被用于更新優化器；后向傳播是單線程，當完成后向傳播后；另外四對圖像又被送入網絡中；每個周期需要遍歷完所有的圖像，然后重新打亂圖片的順序，遍歷下一個周期。