[發明專利]面向衛星圖像的任意尺度超分辨率重建方法及系統

有效

• 申請號: 202011404879.8
• 申請日: 2020-12-03
• 公開（公告）號: CN112508786B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 胡瑞敏;方婧;肖晶;陳丹;丁新
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/13;G06T7/40;G06K9/62;G06V10/774
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

本發明涉及一種面向衛星圖像的任意尺度超分辨率重建方法及系統，基于衛星圖像特點，通過改進元放大模塊和邊緣增強提升衛星圖像的表達能力，重建實現包括進行低分辨衛星圖像淺層特征提取，采用殘差密集網絡對圖像深層特征進行提取，融合低分辨率衛星圖像特征；采用元放大模塊中的權重預測網絡獲取濾波器權重，通過優化投影映射函數獲取更精確的權重，進而得到更加精確的衛星圖像任意分辨率重建結果，作為中間重建衛星圖像；通過衛星圖像邊緣增強實現衛星圖像紋理的清晰表達，充分挖掘衛星圖像的結構信息，獲得最終的高分辨率衛星圖像。本發明方法可提高不同分辨率衛星圖像的表達能力，且邊緣細節等信息更加清晰，能廣泛應用于對地觀測等各個領域。

技術領域

本發明屬于圖像超分領域，特別涉及一種面向衛星圖像的任意尺度超分辨率重建方案。

背景技術

近年來，衛星影像廣泛應用于城市規劃、災害監測、海域監視、動目標監測等多個對地觀測領域。受星載設備功耗等硬件條件的限制，地面獲得的衛星圖像空間分辨率遠低于自然圖像。衛星圖像的超分辨率重建技術通過學習低分辨率到高分辨率圖像之間的映射關系，從一幀或多幀低分辨率圖像中推測并恢復出更加清晰的高分辨率圖像。通過設計新技術方案來增強圖像的空間分辨率，對強化衛星圖像數據表達能力，拓展衛星圖像應用場景具有重要意義。

現有的衛星圖像的超分辨率方法(文獻1、文獻2)主要采用基于深度學習的方法對復雜數據進行建模，引入跳躍連接和密集連接對輸入信息進行充分提取，能表達出更精細的特征紋理，從而較好的提升模型圖像重建性能。然而該類方法將不同比例因子的超分辨率視為獨立任務，且只針對整數的比例因子(例如X2，X3，X4)，每個比例因子都訓練一個特定的模型，在實際應用中具有局限性。

為了解決任意尺度的圖像超分辨率重建，用于超分辨率的任意放大網絡被提出(文獻3)。該方法訓練單個模型求解包括非整數比例因子在內的任意比例因子的超分辨率，利用元放大模塊取代傳統的放大模塊，該模塊將比例因子作為輸入動態預測濾波器的權重，通過這些權重將低分辨率特征映射為不同大小的高分辨圖像。然而由于衛星圖像具有弱紋理、低分辨率的特性，該方法針對衛星圖像難以恢復出精細的圖像內容和清晰的邊緣輪廓信息。

本發明相關文獻：

[1]K.Jiang,Z.Wang,P.Yi,J.Jiang,J.Xiao,and Y.Yao,Deep distillationrecursive network for remote sensing imagery super-resolution,RemoteSensing,vol.10,no.11,p.1700,2018.

[2]T.Lu,J.Wang,Y.Zhang,Z.Wang,and J.Jiang,Satellite image super-resolution via multi-scale residual deep neural network,Remote Sensing,vol.11,no.13,p.1588,2019.

[3]X.Hu,H.Mu,X.Zhang,Z.Wang,T.Tan,and J.Sun,Meta-sr:A magnification-arbitrary network for super-resolution,in Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition,2019,pp.1575-1584.

發明內容

為了解決上述的技術問題，本發明提供了一種面向衛星圖像的任意尺度超分辨率重建技術，該方法基于衛星圖像的兩個特點：“弱紋理”和“低分辨率”，設計改進的元放大模塊和邊緣增強模塊來提升衛星圖像的表達能力。

本發明的技術方案是一種面向衛星圖像的任意尺度超分辨率重建方法，基于衛星圖像特點，通過改進元放大模塊和邊緣增強提升衛星圖像的表達能力，重建實現過程如下，