[發(fā)明專利]基于生成對抗網(wǎng)絡(luò)的SAR圖像自動彩色化方法

有效

• 申請?zhí)枺?/td>: 202110285485.3
• 申請日: 2021-03-17
• 公開（公告）號: CN113012251B
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計）人: 陳胤達;董妍函;耿旭樸
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T11/40;G06T7/11;G06T5/10;G06T5/00;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門南強之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

基于生成對抗網(wǎng)絡(luò)的SAR圖像自動彩色化方法，涉及遙感技術(shù)領(lǐng)域。搭建風(fēng)格轉(zhuǎn)換配對數(shù)據(jù)集；搭建多尺度的生成對抗網(wǎng)絡(luò)，從中嵌入風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)：生成對抗網(wǎng)絡(luò)具有四個連接層，每層都包括生成器和判別器，每層的輸入圖像經(jīng)卷積后逐漸減小，在前一層向后層傳遞中加入隨機噪聲；生成器的模型在無監(jiān)督模型基礎(chǔ)上改為U?net結(jié)構(gòu)，進行圖像輪廓特征提??；判別器選擇PatchGAN結(jié)構(gòu)，將生成圖像分塊，對每一部分進行真實概率判別；在傳統(tǒng)條件生成對抗網(wǎng)絡(luò)的損失函數(shù)基礎(chǔ)上，加入L1正則項；對輸入圖像進行增強預(yù)處理；所得模型進行訓(xùn)練，當損失函數(shù)達到收斂時，訓(xùn)練結(jié)束，得到RGB三通道彩色影像。提升SAR數(shù)據(jù)的解譯和信息提取功能。

技術(shù)領(lǐng)域

本發(fā)明涉及遙感技術(shù)領(lǐng)域，尤其是涉及一種基于生成對抗網(wǎng)絡(luò)的SAR圖像自動彩色化方法。

背景技術(shù)

目前，各種星載和機載遙感平臺不斷出現(xiàn)，遙感技術(shù)成為大范圍、快速感知和獲取地面信息的重要手段，大量遙感圖像被獲取。遙感技術(shù)的應(yīng)用領(lǐng)域十分廣泛，對遙感數(shù)據(jù)的統(tǒng)計和分析利用中，主要應(yīng)用場景包括軍事、地質(zhì)礦產(chǎn)勘探、環(huán)境監(jiān)測、城市建設(shè)管理等。

基于主動微波成像機理的合成孔徑雷達(Synthetic Aperture Radar，SAR)具有全天時、全天候、不受惡劣天氣影響的觀測特點，能穿透云層，在空間對地觀測和軍事偵察等方面具有獨特優(yōu)勢。但與常見的光學(xué)成像(RGB)原理不同，SAR圖像中的灰度級對應(yīng)的是不同材料不同結(jié)構(gòu)的物體對微波的電磁散射強度，沒有直接的顏色信息，因此SAR圖像的理解和解譯具有較高的難度。目前，SAR遙感影像已成為觀測海洋與陸地的重要數(shù)據(jù)源，如何提升SAR圖像的解譯和信息提取功能，提高SAR數(shù)據(jù)的利用率是關(guān)鍵所在?？紤]到人眼對彩色圖像的敏感性，對SAR圖像進行自動彩色化處理，對于解譯判讀具有重要意義。

目前對于SAR灰度圖像處理多為偽彩色化方法，生成的偽彩色化圖像還無法有效真實反映數(shù)據(jù)信息。神經(jīng)網(wǎng)絡(luò)是近年的研究熱點，而生成對抗網(wǎng)絡(luò)是2014年被提出的深度學(xué)習(xí)模型，是近年來復(fù)雜分布上無監(jiān)督學(xué)習(xí)最具前景的方法之一，多用于圖像生成領(lǐng)域，因此GAN的圖像彩色化方法對于SAR圖像彩色化處理具有重要參考價值。本發(fā)明以生成對抗網(wǎng)絡(luò)為基礎(chǔ)，針對SAR遙感待處理數(shù)據(jù)的特殊性和不同地區(qū)(陸地、海洋)的差別，搭建一個基于生成對抗網(wǎng)絡(luò)的SAR圖像自動彩色化訓(xùn)練模型。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供具有對SAR數(shù)據(jù)處理的普適性，對于SAR遙感數(shù)據(jù)的信息獲取具有重要意義，使得SAR色彩信息更為豐富，突破原先的灰度圖像應(yīng)用局限的一種基于生成對抗網(wǎng)絡(luò)的SAR圖像自動彩色化方法。

本發(fā)明包括以下步驟：

1)搭建風(fēng)格轉(zhuǎn)換配對數(shù)據(jù)集；

2)進行多尺度的生成對抗網(wǎng)絡(luò)搭建，并從中嵌入風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)：所述生成對抗網(wǎng)絡(luò)具有四個連接層，每層都包括生成器(G)和判別器(D)，每層的輸入圖像經(jīng)過卷積后逐漸減小，在前一層向后層傳遞中加入隨機噪聲；

3)生成器(G)的模型在無監(jiān)督模型基礎(chǔ)上設(shè)計為U-net結(jié)構(gòu)，進行圖像輪廓特征提??；

4)判別器(D)選擇PatchGAN結(jié)構(gòu)，將生成圖像分塊，對每一部分進行真實概率的判別；

5)在傳統(tǒng)條件生成對抗網(wǎng)絡(luò)(CGAN)的損失函數(shù)基礎(chǔ)上，加入L1正則項，生成對抗網(wǎng)絡(luò)模型目標函數(shù)；

6)對輸入圖像進行增強預(yù)處理；

7)所得模型進行訓(xùn)練，當損失函數(shù)達到收斂時，訓(xùn)練結(jié)束，得到RGB三通道彩色影像。

在步驟1)中，所述搭建風(fēng)格轉(zhuǎn)換配對數(shù)據(jù)集是利用歐空局(ESA)發(fā)射的Sentinel-1和Sentinel-2衛(wèi)星影像進行相同經(jīng)緯度的匹配建立關(guān)聯(lián)數(shù)據(jù)集；所述關(guān)聯(lián)數(shù)據(jù)集包括Sentinel-1VV極化SAR數(shù)據(jù)和Sentinel-2的B2、B3、B4波段合成的光學(xué)數(shù)據(jù)。