[發明專利]一種用于獲取盲超分辨率圖像的方法、設備及存儲介質

在審

• 申請號: 202110251126.6
• 申請日: 2021-03-08
• 公開（公告）號: CN112927137A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 雷娜;李澤增;鄭曉朋;王勝法;羅鐘鉉
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本公開涉及一種用于獲取盲超分辨率圖像的方法、設備及存儲介質。該方法包括估計自然圖像退化過程中的圖像退化模型參數，其中所述圖像退化模型參數包括卷積核池和噪聲池；根據所述圖像退化模型參數建立低分辨率?高分辨率的配對圖像數據集；利用所述配對圖像數據集來訓練和優化圖像生成器；以及基于所述配對圖像數據集和所述圖像生成器來訓練和優化圖像判別器，以獲得盲超分辨率圖像。本公開通過自然圖像的退化模型來估計模型參數，以便建立配對數據集，進而用于訓練和優化圖像生成器和判別器，從而能夠獲得盲超分辨率圖像，極大地提高了超分辨率圖像的質量。

技術領域

本公開一般地涉及圖像處理技術領域。更具體地，本公開涉及一種用于獲取盲超分辨率圖像的方法、設備及計算機可讀存儲介質。

背景技術

本部分旨在為權利要求書中陳述的本公開的實施方式提供背景或上下文。此處的描述可包括可以探究的概念，但不一定是之前已經想到或者已經探究的概念。因此，除非在此指出，否則在本部分中描述的內容對于本申請的說明書和權利要求書而言不是現有技術，并且并不因為包括在本部分中就承認是現有技術。

隨著信息化技術的發展，人們對數字圖像質量的要求也越來越高，特別是在醫學、自動駕駛、天文以及監控等計算機視覺領域中，都需要獲得高分辨率的、細節豐富的高清圖像。然而，在實際圖像采集時，往往受到成像系統自身的空間分辨率、光線或射線強度、空間距離以及系統噪聲等因素的影響，而導致獲得的圖像的空間分辨率不高。傳統的提高圖像的分辨率的方式通常是基于系統硬件設備或者軟件算法來設計，并且基于系統硬件設備來提高圖像分辨率是較為直接的方式，但該方式成本高且實現難度較大。此外，系統硬件設備還易受到電磁波物理和元器件物理的特性限制，從而使得提高的空間分辨率受限。

單圖像超分辨率(Single Image Super Resolution，“SISR”)重建技術主要基于軟件算法層面的設計，其可以實現從低分辨率(“LR”)觀測圖像到高分辨率(“HR”)觀測圖像的提升。近來，由于深層卷積神經網絡在處理具備歐式結構的圖像數據上表現出強大的功能，因此許多基于卷積神經網絡超分辨技術都從某些特定的角度解決了單圖超分辨率分析的任務。然而，這些方法通常是通過先驗信息的設計，以尋找細節恢復和噪音抑制之間的平衡，由此往往會導致高頻細節信息的丟失。另外，還有很多方法是基于雙三次下采樣得到HR-LR圖像并利用其進行訓練，因此在面對由于距離、電磁波信號強度、系統噪聲時導致的自然圖像降質的問題時，該圖像退化過程與這些自然降質過程不相符，而導致超分辨模型的性能受限。

發明內容

為了至少解決上述問題，本公開提出了一種用于獲取盲超分辨率圖像的方案，即通過估計自然圖像的退化模型參數，以便基于模型參數獲得配對圖像數據集，從而可以訓練和優化圖像生成器和判別器，獲取高質量的盲超分辨率圖像。鑒于此，本公開在如下的多個方面提供相應的解決方案。

在第一方面中，本公開提供一種用于獲取盲超分辨率圖像的方法，包括：估計自然圖像退化過程中的圖像退化模型參數，其中所述圖像退化模型參數包括卷積核池和噪聲池；根據所述圖像退化模型參數建立低分辨率-高分辨率的配對圖像數據集；利用所述配對圖像數據集來訓練和優化圖像生成器；以及基于所述配對圖像數據集和所述圖像生成器來訓練和優化圖像判別器，以獲得盲超分辨率圖像。

在一個實施例中，估計自然圖像退化過程中的圖像退化模型參數包括：構建所述自然圖像中由高分辨率圖像到低分辨率圖像退化的圖像退化模型；利用線性卷積網絡學習所述圖像退化模型中的每個所述自然圖像的模糊核，以估計模糊核池；以及根據相對方差選擇和子塊劃分來提取所述圖像退化模型中的所述自然圖像的噪聲分布，以估計噪聲池。

在另一個實施例中，建立低分辨率-高分辨率的配對圖像數據集包括：根據隨機原則分別從所述模糊核池和所述噪聲池中隨機抽樣，以獲得目標模糊核和目標噪聲塊；以及基于所述目標模糊核、所述目標噪聲塊以及所述圖像退化模型來針對已知高分辨率圖像進行降質過程的模擬，以建立與其配對的低分辨率圖像。