[發(fā)明專利]基于cGANs和圖像轉(zhuǎn)換的光學(xué)與SAR的配準(zhǔn)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110654783.5
• 申請(qǐng)日: 2021-06-11
• 公開(kāi)（公告）號(hào): CN113487623A
• 公開(kāi)（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 羅卿莉;李宏
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/136;G06T7/33;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 天津市君硯知識(shí)產(chǎn)權(quán)代理有限公司 12239
• 代理人: 劉雅爽

本發(fā)明公開(kāi)了一種基于cGANs和圖像轉(zhuǎn)換的光學(xué)與SAR的配準(zhǔn)方法及系統(tǒng)，該方法包括獲取待配準(zhǔn)的成對(duì)的SAR圖像和光學(xué)圖像；利用訓(xùn)練好的條件生成對(duì)抗網(wǎng)絡(luò)將SAR圖像轉(zhuǎn)化成合成光學(xué)圖像小塊；將合成光學(xué)圖像小塊進(jìn)行拼接，得出合成的光學(xué)圖片；對(duì)合成的光學(xué)圖片提取大量特征點(diǎn)，形成基準(zhǔn)集；對(duì)獲取的待配準(zhǔn)光學(xué)圖像提取特征點(diǎn)，形成查詢集；根據(jù)基準(zhǔn)集中的特征點(diǎn)在查詢集中查找最鄰近點(diǎn)，形成匹配點(diǎn)對(duì)；利用RANSAC算法對(duì)匹配點(diǎn)對(duì)進(jìn)行精配準(zhǔn)，剔除錯(cuò)誤的匹配點(diǎn)對(duì)后，得到精配準(zhǔn)的圖像。避免了圖像之間存在的非線性強(qiáng)度差異，降低了SAR圖像與光學(xué)圖像的配準(zhǔn)難度。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像配準(zhǔn)領(lǐng)域，具體涉及一種基于cGANs和圖像轉(zhuǎn)換的光學(xué)與SAR的配準(zhǔn)方法及系統(tǒng)。

背景技術(shù)

遙感衛(wèi)星獲取到的數(shù)據(jù)廣泛應(yīng)用到各個(gè)領(lǐng)域，包括對(duì)環(huán)境污染、森林資源、河流信息等的監(jiān)測(cè)以及對(duì)于各種災(zāi)難的及時(shí)響應(yīng)等。不同的傳感器對(duì)地觀測(cè)所獲取的信息具有各自的獨(dú)特性，綜合利用多源遙感數(shù)據(jù)是遙感應(yīng)用領(lǐng)域的一個(gè)重要研究方向，其可以通過(guò)優(yōu)勢(shì)互補(bǔ)從而獲得更為豐富的遙感信息。光學(xué)遙感和合成孔徑雷達(dá)(Synthetic ApertureRadar,SAR)是利用遙感獲取對(duì)地觀測(cè)信息的兩種重要的技術(shù)手段?？梢?jiàn)光圖像中的目標(biāo)邊緣清晰，空間分辨率高，細(xì)節(jié)明顯，豐富的顏色信息利于視覺(jué)判讀。然而，光學(xué)傳感器容易受天氣影響導(dǎo)致目標(biāo)成像質(zhì)量差。相對(duì)于光學(xué)傳感器，SAR成像不受天氣和光照的影響，可以實(shí)現(xiàn)全天時(shí)、全天候的監(jiān)測(cè)，具有良好的穿透性；但是SAR對(duì)場(chǎng)景的紋理邊緣描述不清晰，沒(méi)有豐富的色彩信息，不適合人眼識(shí)別。因此，對(duì)SAR圖像和光學(xué)圖像進(jìn)行配準(zhǔn)和融合，可以利用雙方的優(yōu)勢(shì)信息進(jìn)行互補(bǔ)，既有利于提高視覺(jué)可讀性，又有利于提高信息獲取的全面性和準(zhǔn)確性，從而全面觀測(cè)和分析。

目前的SAR和光學(xué)配準(zhǔn)算法都是直接將SAR圖像和光學(xué)圖像進(jìn)行匹配。李芳芳等提出了一種基于線特征和SIFT點(diǎn)特征的多源遙感影像配準(zhǔn)方法，利用線特征來(lái)約束SIFT點(diǎn)特征從而實(shí)現(xiàn)配準(zhǔn)。LiQ等通過(guò)附加尺度方向約束，細(xì)化特征向量來(lái)改善SIFT算法匹配效果。YiZ等提出了SAR-SIFT算法，該算法使用尺度限制剔除誤匹配點(diǎn)，進(jìn)而提高匹配精度。陳華等提出了一種利用SIFT算法來(lái)解決不同分辨率、不同波段的SAR影像配準(zhǔn)方法。肖雄武等結(jié)合SIFT算法提出了一種較為快速且具有仿射不變性的傾斜影像匹配方法。但是SAR遙感圖像和光學(xué)圖像由于其傳感器的成像原理和成像條件不同，導(dǎo)致所成圖像之間存在明顯的非線性強(qiáng)度差異和一定的幾何結(jié)構(gòu)、旋轉(zhuǎn)、分辨率差異，使得光學(xué)與SAR圖像間的直接配準(zhǔn)具有較大的難度。因此本文提出了一種新思路，以解決上述問(wèn)題,即利用cGANs先將SAR圖像轉(zhuǎn)換成光學(xué)圖像，然后再和真實(shí)的光學(xué)圖像進(jìn)行匹配。

發(fā)明內(nèi)容

因此，本發(fā)明的目的在于提供一種基于cGANs和圖像轉(zhuǎn)換的光學(xué)與SAR的配準(zhǔn)方法及系統(tǒng)；通過(guò)將SAR圖像轉(zhuǎn)化成光學(xué)圖像，再進(jìn)行圖像配準(zhǔn)，避免了圖像之間存在的非線性強(qiáng)度差異降低了SAR圖像與光學(xué)圖像的配準(zhǔn)難度。

為了實(shí)現(xiàn)上述目的，本發(fā)明的一種基于cGANs和圖像轉(zhuǎn)換的光學(xué)與SAR的配準(zhǔn)方法，包括以下步驟：獲取待配準(zhǔn)的成對(duì)的SAR圖像和光學(xué)圖像；將待配準(zhǔn)的SAR圖像裁剪成多個(gè)圖像小塊；利用訓(xùn)練好的條件生成對(duì)抗網(wǎng)絡(luò)將裁切后的圖像小塊，轉(zhuǎn)化成合成光學(xué)圖像小塊；將合成光學(xué)圖像小塊進(jìn)行拼接，得出合成的光學(xué)圖片；對(duì)合成的光學(xué)圖片提取大量特征點(diǎn)，形成基準(zhǔn)集；對(duì)獲取的待配準(zhǔn)光學(xué)圖像提取特征點(diǎn)，形成查詢集；根據(jù)基準(zhǔn)集中的特征點(diǎn)在查詢集中查找最鄰近點(diǎn)，形成匹配點(diǎn)對(duì)；利用RANSAC算法對(duì)匹配點(diǎn)對(duì)進(jìn)行精配準(zhǔn)，剔除錯(cuò)誤的匹配點(diǎn)對(duì)后，得到精配準(zhǔn)的圖像。

優(yōu)選的，所述條件生成對(duì)抗網(wǎng)絡(luò)采用如下方法進(jìn)行訓(xùn)練：獲取成對(duì)的SAR圖像和光學(xué)圖像；將成對(duì)的SAR圖像和光學(xué)圖像剪成多個(gè)子圖像塊，形成SAR-光學(xué)圖像數(shù)據(jù)集；將SAR-光學(xué)圖像數(shù)據(jù)集劃分成訓(xùn)練樣本集和測(cè)試集樣本集；

將訓(xùn)練樣本集中的SAR圖像作為輸入，將對(duì)應(yīng)的光學(xué)圖像作為有效值輸出，訓(xùn)練條件生成對(duì)抗網(wǎng)絡(luò)；以使生成的圖片盡可能接近目標(biāo)的光學(xué)圖像的分布；

利用測(cè)試集測(cè)試網(wǎng)絡(luò)的精度，當(dāng)生成的光學(xué)圖像精度達(dá)到目標(biāo)要求時(shí)，訓(xùn)練完成。