[發明專利]基于生成對抗網絡的SAR圖像自動彩色化方法

有效

• 申請號: 202110285485.3
• 申請日: 2021-03-17
• 公開（公告）號: CN113012251B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 陳胤達;董妍函;耿旭樸
• 申請（專利權）人: 廈門大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T11/40;G06T7/11;G06T5/10;G06T5/00;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

1.基于生成對抗網絡的SAR圖像自動彩色化方法，其特征在于包括以下步驟：

1)搭建風格轉換配對數據集；

2)進行多尺度的生成對抗網絡搭建，并從中嵌入風格轉換網絡：所述生成對抗網絡具有四個連接層，每層都包括生成器和判別器，每層的輸入圖像經過卷積后逐漸減小，在前一層向后層傳遞中加入隨機噪聲；

3)生成器的模型在無監督模型基礎上設計為U-net結構，進行圖像輪廓特征提取；

4)判別器選擇PatchGAN結構，將生成圖像分塊，對每一部分進行真實概率的判別；

5)在傳統條件生成對抗網絡的損失函數基礎上，加入L1正則項，生成對抗網絡模型目標函數；

所述傳統條件生成對抗網絡中，定義損失函數如下：

Loss(G,D)＝E_x,y[logD(x,y)]+E_x,z[log(1-D(x,G(x,z)))]

為防止模型過擬合，在該函數中加入L1正則項，改進后損失函數如下：

L_L(G)＝E_x,y,z[||y-G(x,z)||₁]

生成對抗網絡模型目標函數如下：

G＝argmin(G)max(D)L_CGAN(G,D)+λL_L1(G)

其中，λ為權重；

6)對輸入圖像進行增強預處理：對陸地遙感數據，經過旋轉、翻轉、局部放大過程進行特征的完全提取；對海洋遙感數據，由于海洋數據受湍流影響成像差異大，采用維納濾波恢復圖像，恢復過程的描述如下：

其中，Q為常數，G為原始圖像的傅立葉變換，為恢復圖像的傅立葉變換，T為湍流退化模型，u，v為像素坐標，其余數字均為固定的比例系數，湍流退化模型如下：

其中，k為湍流系數；

由于Sentinel-1和Sentinel-2的拍攝周期不同，光線照射角度及方向不同，會造成圖像成像差異，選取2年周期內的色彩均值合成圖像以消除周期性干擾；

7)所得模型進行訓練，當損失函數達到收斂時，訓練結束，得到RGB三通道彩色影像。

2.如權利要求1所述基于生成對抗網絡的SAR圖像自動彩色化方法，其特征在于在步驟1)中，所述搭建風格轉換配對數據集是利用歐空局發射的Sentinel-1和Sentinel-2衛星影像進行相同經緯度的匹配建立關聯數據集；所述關聯數據集包括Sentinel-1VV極化SAR數據和Sentinel-2的B2、B3、B4波段合成的光學數據。

3.如權利要求1所述基于生成對抗網絡的SAR圖像自動彩色化方法，其特征在于在步驟3)中，所述U-net結構用于獲取圖像的邊緣特征，保證SAR圖像的底層輪廓信息不變及上色色彩的真實性。

4.如權利要求1所述基于生成對抗網絡的SAR圖像自動彩色化方法，其特征在于在步驟4)中，所述對每一部分進行真實概率的判別的具體方法為：將原圖像分割為n塊同樣大小的圖像塊，設輸入的圖像塊為x_i，輸出圖像被判別器判定為真實的概率為D(x_i)，對D(x_i)求均值作為整體圖像的概率，即

5.如權利要求1所述基于生成對抗網絡的SAR圖像自動彩色化方法，其特征在于在步驟7)中，所述得到RGB三通道彩色影像，在訓練結束，得到自動彩色化模型，通過該自動彩色化模型將需要上色的圖像轉換為三通道RGB彩色圖像。