[發明專利]單幅圖像超分辨率的多尺度殘差融合模型及其復原方法

有效

• 申請號: 202010726231.6
• 申請日: 2020-07-25
• 公開（公告）號: CN111861961B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 趙佰亭;胡銳;賈曉芬;郭永存;黃友銳
• 申請（專利權）人: 安徽理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40;G06N3/08;G06N3/0464
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種單幅圖像超分辨率的多尺度殘差融合模型及其復原方法，包括依次連接的特征提取模塊、非線性映射模塊和重建模塊；特征提取模塊，用于提取低分辨率LR圖像的多個線條、輪廓等淺層特征，多個互補的淺層特征能夠彌補單一特征對LR圖像表征不足的問題；非線性映射模塊，通過建立輸入與輸出之間的非線性映射關系，提取高頻特征并借助稠密連接傳送到重建模塊；重建模塊，用于對連接融合的高頻特征進一步提取細節、紋理等特征后，融合淺層特征和LR圖像，完成高分辨率HR圖像的重建。本發明用于單幅圖像的超分辨率重建及其復原，提升圖像的分辨率，在保證重建效率的同時，能增強重建圖像的輪廓特征，明顯提高圖像質量。

技術領域

本發明屬于圖像重建技術領域，涉及一種單幅圖像超分辨率的多尺度殘差融合模型及其復原方法。

背景技術

圖像作為一種傳播媒介，其中包含著大量的信息內容。高分辨率圖像在衛星遙感、公共安全、無人駕駛、醫學診斷等方面需求量越來越大，圖像的分辨率越高所能夠提供的信息也就越多，如何準確利用和提取圖像中的信息，對于我國未來機器視覺領域的發展起著不可或缺的作用。由于受當前成像技術、成本限制以及外部環境等影響，使得所獲得的圖像分辨率達不到實際應用中的標準，嚴重影響了后續處理以及進一步的使用。因此，有必要研究有效的解決方案以改善圖像的分辨率，獲得更高分辨率以及更高質量的圖像。

單幅圖像的超分辨率重建方法主要分為三類：基于插值、基于重建和基于學習?；诓逯岛突谥亟ǚ椒ㄝ^為簡單且容易實現，但是沒有考慮圖像的實際物理參數，僅在數學邏輯上使得圖像放大，圖像質量以及邊緣細節和紋理特征的提升有限，其重建的效果并不一定能夠達到所要求的標準。隨著科技的發展，人們開始將目光轉向基于學習的方法，其核心思想是通過訓練其他樣本的方式獲得額外的先驗知識，以此來幫助恢復圖像細節的重建。

近年間，深度學習技術快速發展，作為重建中基于學習算法的一種，利用神經網絡實現圖像的超分辨重建開始被人們研究和關注。例如Dong等人首次將深度學習知識應用到重建技術中，提出的SRCNN，避免了人工設計特征提取方法，實現了圖像本身的學習，從而實現圖像重建，詳見“Dong,C.；Loy,C.C.；He,K.；Tang,X.Image?super-resolution?usingdeep?convolutional?networks.In?Proceedings?of?the?IEEE?Conference?on?ComputerVision?and?Pattern?Recognition,Zurich,Switzerland,6–12September?2014；pp.184–199”。Kim等人基于殘差網絡思想提出VDSR，通過特征圖的累加來解決深層網絡所帶來的梯度彌散問題，詳見“Kim,J.,J.Lee,K.,and?Lee,K.M.,Accurate?image?super-resolutionusing?very?deep?convolutional?networks,in?Proc.IEEE?Conf.Comput.Vis.PatternRecognit.(CVPR),Jun.2016,pp.1646-1654.”。為了加快網絡的收斂速度，減少網絡參數，Kim又提出了DRCN，詳見“Kim,J.,and?Lee,J.K.,and?Lee,K.M.,Deeply-recursiveconvolutional?network?for?image?super-resolution,in?Proc.IEEEConf.Comput.Vis.Pattern?Recognit.(CVPR),Jun.2016,pp.1637-1645.”。Tai等人提出了DRRN，通過將殘差網絡和循環網絡結合，進一步提高了重建的效果，詳見“Tai,Y.,Yang,J.,and?Liu,X.,Image?super-resolution?via?deep?recursive?residual?network,inProc.IEEE?Conf.Comput.Vis.Pattern?Recognit.(CVPR),Jul.2017,pp.3147–3155.”。Lai等人提出了LapSRN，將將傳統圖像算法拉普拉斯金字塔與深度學習結合，通過構建上下兩層分支結構實現圖像的重建，詳見“Lai,W.S.,Huang,J.B.,Ahuja,N.,and?Yang,M.H.,DeepLaplacian?pyramid?networks?for?fast?and?accurate?super-resolution,inProc.IEEE?Conf.Comput.Vis.Pattern?Recognit.(CVPR),Jul.2017,pp.624–632.”。Tai等人用密集連接堆疊持久記憶和多個記憶塊，提出了用于圖像恢復的最深持久記憶網絡MemNet，詳見“Tai,Y.,Yang,J.,Liu,X.,and?Xu,C.,MemNet:a?persistent?memorynetwork?for?image?restoration,in?Proc.IEEE?Int.Conf.Comput.Vis.(ICCV),Oct.2017,pp.4549-4557.”。