[發明專利]基于類凸集投影算法的圖像恢復方法

在審

• 申請號: 202010060321.6
• 申請日: 2020-01-19
• 公開（公告）號: CN111260585A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 武宇喆;牛毅;石光明
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 合肥律眾知識產權代理有限公司 34147
• 代理人: 秦偉華

1.一種基于類凸集投影算法的圖像恢復方法，其特征在于，包括如下步驟：

(1)構建訓練樣本集和測試樣本集：

(1a)獲取DIV2K公開數據集中的高分辨率(HR)圖像，通過HR得到N個分辨率大小為S×S的圖像塊，并對每個圖像塊通過bicubic下采樣，得到與之對應的低分辨率(LR)圖像塊。其中，N≥200000，S＝19；

(1b)獲取Set5，Set14，BSD100，Urban100，Manga109公開數據集中的HR圖像，對其通過bicubic下采樣，得到與之對應的LR圖像。

(2)構建顯示的特征去噪模塊：

(2a)構建特征去噪模塊的核心思想：

設計特征去噪模塊的核心思想是通過網絡來泛化傳統的軟閾值算法(softthresholding)。從傳統的信號處理角度講，卷積是一個“變換”的過程，對特征去噪本質上是在變換域去噪。軟閾值算法是一種用于變換域去噪的經典方法。軟閾值函數G_st(x)表示為：

其中x是原始系數，τ表示閾值，是一個非負常量，被定義為σ_n和σ分別表示零均值高斯噪聲分布的標準差和無噪聲的拉普拉斯變換系數。

(2b)設計軟閾值模塊：

設計軟閾值模塊的關鍵在于能夠讓網絡自適應學習每個特征圖對應的閾值，完成特征去噪的任務。整個模塊的構建包括全局池化、自動編碼器、閾值生成，特征去噪四部分，其中：

全局池化，包括一個全局池化層，用于提取輸入特征圖每個通道的平均能量；

自動編碼器，包括兩個簡單的全連接層，用于提取經全局池化后得到的均值向量的主成分，然后生成相應的縮放因子向量；

軟閾值生成，將均值向量與縮放因子相乘，得到對應的軟閾值因子；

特征去噪：將生成的軟閾值與輸入的特征圖經過軟閾值函數G_st，完成特征去噪。

(2c)設計自適應軟閾值模塊：

上述軟閾值模塊有兩個缺陷：1)該模塊不是一個輕量化模塊，提取到的特征可能是冗余的。為了解決這個問題，將第一個全連接層的通道數減少為原來的r_c表示縮減率；2)軟閾值模塊沒有考慮特征圖的空間相關性，學習到的閾值并不是最優的。因此，提出一個自適應軟閾值模塊來獲取更優的閾值。

(3)構建基于類凸集投影算法的圖像恢復網絡模型PL-DSR：

(3a)PL-DSR模型的構建：

從傳統的圖像處理角度重新詮釋了EDSR網絡模型，認為該模型與傳統的凸集投影算法非常相似，卻唯獨少了在變換域去噪的一步。具體地：1)將用于特征提取的第一個卷積層視作為對輸入圖像進行了一個“變換”運算；2)EDSR將提取到的特征通過了一系列的殘差塊，每個殘差塊的組成是conv-relu-conv，然后將這三層的功能分別視作為“逆變換-空間域的非負抑制-變換”的過程；3)級聯多個殘差塊被視作為該過程的反復迭代。其次，將自適應軟閾值模塊應用到EDSR網絡中，得到PL-DSR網絡模型，完成對特征圖進行顯示的去噪，能夠提取到結構化更加清晰的特征，在減小網絡復雜度的同時獲得比EDSR更好的恢復效果。

(3b)定義圖像恢復網絡模型的損失函數；

定義L₁范數恢復損失函數L：

其中，N是訓練樣本總數，和分別表示第i個樣本的恢復圖像和HR圖像。損失值越小，表示網絡恢復效果越好。

(4)對PL-DSR模型進行訓練：

將訓練樣本集中的LR-HR圖像塊作為網絡的輸入，對PL-DSR模型進行K次迭代訓練，得到訓練好的模型。其中，K≥50000；

(5)對PL-DSR模型進行測試：

將測試樣本集作為訓練好的PL-DSR模型的輸入，得到對應的恢復圖像。

(6)生成恢復圖像：

將待恢復的LR圖像作為PL-DSR模型的輸入，得到恢復后的圖像。