[發(fā)明專利]基于深度閉環(huán)神經(jīng)網(wǎng)絡(luò)的高光譜圖像超分辨優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 202011387862.6
• 申請日: 2020-12-02
• 公開（公告）號: CN112184560B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 徐洋;劉咫豪;吳澤彬;韋志輝;李恒
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/04;G06F17/11
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 陳鵬

本發(fā)明公開了一種基于深度閉環(huán)神經(jīng)網(wǎng)絡(luò)的高光譜圖像超分辨率方法，包括面向高光譜數(shù)據(jù)構(gòu)建深度閉環(huán)神經(jīng)網(wǎng)絡(luò)模型和變量分離精細(xì)優(yōu)化重建高分辨率高光譜圖像兩個(gè)過程，該方法的主要步驟為：構(gòu)建兩個(gè)深度學(xué)習(xí)模型分別學(xué)習(xí)超分辨過程和逆超分辨過程，兩個(gè)模型形成閉環(huán)網(wǎng)絡(luò)減少映射空間，促進(jìn)模型擬合；采用適合高光譜圖像的網(wǎng)絡(luò)結(jié)構(gòu)分別提取空間特征和光譜特征，空間信息和光譜信息聯(lián)合重構(gòu)，提高超分辨得到的圖像質(zhì)量；利用訓(xùn)練好的深度閉合神經(jīng)網(wǎng)絡(luò)，采取變量分離精細(xì)優(yōu)化方法進(jìn)行模型迭代求解，優(yōu)化重建結(jié)果。本發(fā)明使用適用于高光譜圖像超分辨率的深度閉環(huán)神經(jīng)網(wǎng)絡(luò)，閉環(huán)網(wǎng)絡(luò)可以縮減映射空間，可以得到比單向網(wǎng)絡(luò)更好的重建結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬于遙感圖像處理領(lǐng)域，具體涉及一種基于深度閉環(huán)神經(jīng)網(wǎng)絡(luò)的高光譜圖像超分辨優(yōu)化方法。

背景技術(shù)

隨著遙感技術(shù)的發(fā)展，衛(wèi)星高光譜圖像被用來進(jìn)行有效探測和地物類型識別，高光譜圖像在地物識別、地質(zhì)調(diào)查等許多方面具有廣闊的應(yīng)用前景。然而，受限于波譜范圍和硬件成像條件的影響，高光譜圖像往往具有較低的空間分辨率，在低空間分辨率的條件下對高光譜圖像進(jìn)行準(zhǔn)確分類和識別十分困難。因此，可以在分類和識別前，通過軟件方法來提高遙感圖像的空間分辨率，即通過低分辨率的圖像來得到一幅高分辨率的圖像的超分辨率重建技術(shù)。

高光譜圖像的超分辨率重建與自然圖像的超分辨率重建略有不同，高光譜圖像在空間和光譜兩個(gè)維度上具有相關(guān)性。高光譜圖像超分辨率技術(shù)的困難點(diǎn)在于，如何在有效復(fù)原高光譜圖像空間信息的同時(shí)，保證復(fù)原高光譜圖像的光譜連續(xù)性。傳統(tǒng)方法主要通過矩陣分解和建立映射庫的方式進(jìn)行超分辨重建，深度學(xué)習(xí)方法則直接從數(shù)據(jù)學(xué)習(xí)模型，建立低空間分辨率到高空間分辨率圖像的端到端的映射。隨著深度學(xué)習(xí)方法的引入和發(fā)展，復(fù)原得到的高光譜圖像的質(zhì)量越來越高。但基于深度學(xué)習(xí)的高光譜圖像超分辨率方法依然存在問題：（1）建立深度學(xué)習(xí)模型時(shí)，從低分辨率高光譜圖像到高分辨率高光譜圖像的映射空間過于巨大，很難學(xué)習(xí)到正確的映射關(guān)系；（2）數(shù)據(jù)集中數(shù)據(jù)的數(shù)量是有限的，無法包括所有地物的情況，對于數(shù)據(jù)集中不包含的情況，模型無法學(xué)習(xí)到正確的映射關(guān)系，重建得到的高分辨率高光譜圖像中的空間一致性和光譜一致性都很難保持。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于深度閉環(huán)神經(jīng)網(wǎng)絡(luò)的高光譜圖像超分辨優(yōu)化方法。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種基于深度閉環(huán)神經(jīng)網(wǎng)絡(luò)和的衛(wèi)星高光譜圖像超分辨率方法，包括以下步驟：

從衛(wèi)星獲取高光譜數(shù)據(jù) Y_gt ，用雙三次插值模擬生成Y_gt對應(yīng)的低分辨率高光譜圖像X_lr；

建立深度閉環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，包括超分辨率神經(jīng)網(wǎng)絡(luò)模型和逆超分辨率神經(jīng)網(wǎng)絡(luò)模型，設(shè)置好參數(shù)，輸入Y_gt和X_lr圖像對來訓(xùn)練模型；

根據(jù)訓(xùn)練好的深度閉環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建包含數(shù)據(jù)項(xiàng)和先驗(yàn)項(xiàng)的目標(biāo)函數(shù)，并引入輔助變量來構(gòu)建最終的高光譜超分辨率重建的目標(biāo)函數(shù)；

通過基于超分辨率重建的目標(biāo)函數(shù)求解的變量分離精細(xì)優(yōu)化方法，直接迭代重建高分辨率高光譜圖像。