[發明專利]自適應全局和紋理約束的超分辨率的方法

有效

• 申請號: 201910332693.7
• 申請日: 2019-04-12
• 公開（公告）號: CN110111253B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 端木春江;戚河平
• 申請（專利權）人: 浙江師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

圖像的超分辨率問題本身是一個病態的數學問題，如何利用圖像的內在信息求解這個問題是超分辨率方法的關鍵。現有超分辨率方法在恢復圖像邊緣或高頻信息方面存在缺陷，因此本發明提出先提取包含圖像的邊緣和高頻信息的紋理信息，然后最小化低分辨率測試圖像紋理與初始得到高分辨率圖像下采樣后的紋理之間的差異性，從而提供保護重建圖像的紋理細節的機制。另外，由于現有的方法重建出的圖像存在較多的塊效應，提出了自適應全局約束的方法，以提高重建圖像質量，減少塊效應。實驗表明，所提出的方法相比于現有的方法能更好地得到圖像的邊緣和高頻信息，也能更好地減少塊效應，所提出的方法的性能優于現有的主流方法。

技術領域

本發明提出了一種數字圖像處理技術領域中的基于單幅圖像的圖像超分辨率方法，使用該方法，可以依靠訓練階段得到的字典，對輸入的一幅低分辨率的圖像獲得一幅高分辨率的圖像。該方法可以被廣泛應用在視頻監控、衛星遙感、醫學圖像、生物特征識別等領域。

背景技術

經典的圖像超分辨率方法可以分為以下幾類：1.基于插值的方法、2.基于重建的方法、和3.基于學習的方法。在第一種方法中，利用未知像素值周圍的已知像素值來估計和預測此未知像素值的大小，其被稱為插值的方法。在第二類方法中，利用大量的訓練圖像，在訓練階段對高分辨率的原始圖像進行濾波和下采樣處理，得到對應的低分辨率圖像。然后，對訓練階段的高分辨率圖像和低分辨率的圖像進行分塊，獲得高分辨率的圖像塊和低分辨率的圖像塊，并存儲每一對高分辨率圖像塊和低分辨率圖像塊。對于要進行超分辨率放大的圖像塊，首先對其進行分塊，獲得低分辨率的圖像塊，然后在訓練過程獲得的低分辨率圖像塊中尋找和其最接近的幾個圖像塊。然后，利用訓練階段獲得的和這些低分辨率塊所對應的高分辨率塊的加權平均來獲得放大后的高分辨率塊。對要放大的圖像上的每個低分辨率圖像塊都進行以上這些操作之后，可以獲得很多高分辨率的圖像塊。對在這些高分辨率的圖像塊的重疊區域使用平均的方法可以獲得一幅高分辨率的圖像。這種方法被稱為基于樣例的方法。在第三類方法中，利用訓練階段的高分辨率圖像，通過濾波和下采樣處理獲得對應的低分辨率的圖像。然后，利用稀疏表示的方法獲得表示低分辨率圖像塊的稀疏字典和表示高分辨率圖像塊的稀疏字典。對于在線的圖像放大階段和低分辨率圖像上提取的圖像塊，首先利用訓練好的低分辨率的字典，來獲得其稀疏表示的系數。然后，根據高分辨率圖像塊和低分辨率圖像塊在同一個流型上的假設，利用高分辨率的字典和稀疏表示的系數相乘，獲得高分辨率的圖像塊。對低分辨率圖像中所有的圖像塊，都進行了以上處理后，可以通過獲得的高分辨率的圖像塊重建出一幅高分辨率的圖像。這類方法被稱為稀疏表示的方法。在第四類方法中，首先通過訓練圖像集合中的高分辨率圖像塊和所對應的低分辨率的圖像塊來訓練卷積神經網絡。當訓練好這個網絡之后，對于要放大的圖像塊，利用這個網絡可以得到高分辨率的圖像塊。對低分辨率圖像中的所有低分辨率圖像塊都進行了此操作后，可以得到對應的所有的高分辨率的圖像塊。然后，利用圖像塊重疊區域平均的方法，可以得到一幅高分辨率圖像。這類方法被稱為基于深度學習的方法。

然而，現有的這些方法中都存在著重構的高分辨率圖像中邊緣部分不清晰，高頻細節信息重構不好的問題。同時，對于利用圖像塊來重構的方法，還存在著塊效應的問題，即會擴大圖像中圖像塊和其周圍的圖像塊的差異性過大的問題。

發明內容

考慮到圖像的高頻紋理信息是構成一幅圖像至關重要的部分，而當前的超分辨率方法存在著如上所述的使圖像邊緣模糊的問題，降低了紋理部分的清晰度。因此提出在超分辨率重建過程中保護圖像的紋理部分的思想，首先采用相對總變分(RTV，RelativeTotal?Variation)提取出圖像中平滑的結構部分，然后使用原圖與結構部分圖像作差，從而得到紋理部分圖像。接著，利用下采樣后的初始的高分辨率圖像的紋理與輸入低分辨率圖像紋理相異性最小為目標，并以此作為約束項，加入到重構的目標函數中。另外，由于基于稀疏表示的圖像超分辨率方法是對圖像塊進行處理的，會產生塊效應，影響和降低超分辨率重構圖像的視覺效果。為減少塊效應，提出使用自適應閾值的非局部自相似來進一步約束重建圖像，可以得到質量更好的高分辨率圖像。

1.紋理約束模型