[發(fā)明專利]一種基于深度學習的視網膜超分辨重建系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202010019592.7
• 申請日: 2020-01-08
• 公開（公告）號: CN111260551A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設計）人: 蔡宏民;范志豪
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

本發(fā)明公開了一種基于深度學習的視網膜超分辨重建系統(tǒng)，包括：上采樣和下采樣模塊、通道注意力模塊、3x3和1x1卷積層、以及反卷積和3x3卷積層；所述通道注意力模塊由全局平均池化層、Relu激勵函數、1x1卷積層和Sigmoid函數組成；所述1x1卷積層包括第一1x1卷積層和第二1x1卷積層；所述全局平均池化層、第一1x1卷積層、Relu激勵函數、第二1x1卷積層和Sigmoid函數依次連接構成所述通道注意力模塊；所述上采樣和下采樣模塊包括多個反卷積層、多個卷積層和多個1x1卷積層；低分辨率的目標圖片依次通過所述3x3和1x1卷積層、上采樣和下采樣模塊、通道注意力模塊、反卷積和3x3卷積層，得到高分辨率眼底圖像。

技術領域

本發(fā)明涉及超分辨技術領域，尤其涉及一種基于深度學習的視網膜超分辨重建系統(tǒng)及方法。

背景技術

圖像超分辨率重建技術就是利用一組低質量、低分辨率圖像(或運動序列)來產生單幅高質量、高分辨率圖像。圖像超分辨率重建應用領域及其寬廣，在軍事，醫(yī)學，公共安全，計算機視覺等方面都存在著重要的應用前景。目前，超分辨率重建的理論和方法包含三個主要方向：基于插值的超分辨率重建、基于重構的超分辨率重建和基于學習的超分辨率重建。

基于插值的超分辨率重建的方法。這種方法將每一張圖像都看做是圖像平面上的一個點，那么對超分辨率圖像的估計可以看做是利用已知的像素信息為平面上未知的像素信息進行擬合的過程，這通常由一個預定義的變換函數或者插值核來完成。基于插值的方法計算簡單、易于理解，但是也存在著一些明顯的缺陷。首先，它假設像素灰度值的變化是一個連續(xù)的、平滑的過程，但實際上這種假設并不完全成立。其次，在重建過程中，僅根據一個事先定義的轉換函數來計算超分辨率圖像，不考慮圖像的降質退化模型，往往會導致復原出的圖像出現模糊、鋸齒等現象。常見的基于插值的方法包括最近鄰插值法、雙線性插值法和雙立方插值法等。

基于重構的超分辨率重建方法。這種方法則是從圖像的降質退化模型出發(fā)，假定高分辨率圖像是經過了適當的運動變換、模糊及噪聲才得到低分辨率圖像。這種方法通過提取低分辨率圖像中的關鍵信息，并結合對未知的超分辨率圖像的先驗知識來約束超分辨率圖像的生成。常見的基于重構的方法包括迭代反投影法、凸集投影法和最大后驗概率法等。

基于學習的超分辨重建方法。這種方法則是利用大量的訓練數據，從中學習低分辨率圖像和高分辨率圖像之間某種對應關系，然后根據學習到的映射關系來預測低分辨率圖像所對應的高分辨率圖像，從而實現圖像的超分辨率重建過程。常見的基于學習的方法包括流形學習、稀疏編碼和深度學習方法。

近年來深度學習在各個領域取得不多成績。2014年，Dong等人首次將深度學習應用到圖像超分辨率重建領域，他們使用一個三層的卷積神經網絡學習低分辨率圖像與高分辨率圖像之間映射關系，自此，在超分辨率重建率領域掀起了深度學習的浪潮。但是這些方法大多數是通過殘差連接，或者密集連接的方式來提高網絡結構的表征能力，沒有考慮到卷積網絡所提取特征對超分辨率重要性，導致得到的圖像分辨率不高，效果不佳。

發(fā)明內容

本發(fā)明提供了一種基于深度學習的視網膜超分辨重建系統(tǒng)及方法，利用深度學習網絡從單張低分辨率視網膜圖像恢復對應的高分辨率圖像；提出一個深度學習模型，該模型由上采樣和下采樣模塊與通道注意力模塊級聯(lián)組成，從而使得模型從時域與頻率兩個方面提取更加具有辨別性的特征。

為了解決上述技術問題，本發(fā)明實施例提供了一種基于深度學習的視網膜超分辨重建系統(tǒng)，包括：上采樣和下采樣模塊、通道注意力模塊、3x3和1x1卷積層、以及反卷積和3x3卷積層；

所述通道注意力模塊由全局平均池化層、Relu激勵函數、1x1卷積層和Sigmoid函數組成；所述1x1卷積層包括第一1x1卷積層和第二1x1卷積層；所述全局平均池化層、第一1x1卷積層、Relu激勵函數、第二1x1卷積層和Sigmoid函數依次連接構成所述通道注意力模塊；所述上采樣和下采樣模塊包括多個反卷積層、多個卷積層和多個1x1卷積層；