[發明專利]基于回歸模型的金字塔人臉圖像超分辨率重建方法

有效

• 申請號: 201711381261.2
• 申請日: 2017-12-20
• 公開（公告）號: CN108090873B
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 于明;熊敏;劉依;郭迎春;于洋;師碩;畢容甲
• 申請（專利權）人: 河北工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 胡安朋

本發明基于回歸模型的金字塔人臉圖像超分辨率重建方法，涉及圖像的增強或復原，利用圖像具有非局部相似性的特征，對測試集中低分辨率人臉圖像在其對應特征圖像中搜索重建圖像塊的相似塊，得到所有相似塊的位置集合，將訓練集中所有低分辨率圖像在該位置集合中的人臉圖像塊作為測試集中的低分辨率人臉圖像塊對應的低分辨率訓練集，利用測試集中的低分辨率人臉圖像塊對應的特征圖像塊與訓練集中的低分辨率人臉圖像塊對應的特征圖像塊之間的距離以及測試集中的低分辨率圖像經過插值放大后的人臉圖像塊對應的特征圖像塊與訓練集中高分辨率人臉圖像塊對應的特征圖像塊之間距離之和構建約束條件；克服了現有技術在人臉圖像重建過程中存在的諸多缺陷。

技術領域

本發明的技術方案涉及圖像的增強或復原，具體地說是基于回歸模型的金字塔人臉圖像超分辨率重建方法。

背景技術

圖像采集的過程中，由于成像系統的限制和環境因素的影響，獲取到的圖像和真實場景往往會有偏差。如何提高圖像的空間分辨率，改善圖像質量，一直以來都是圖像獲取技術所致力解決的重要問題。隨著科學技術的發展，成像系統的硬件設備性能越來越好，但是通過提升硬件系統來提高圖像質量的方法需要很高的成本。在硬件水平已經達到一定高度的基礎上，通過軟件的技術提高圖像的質量成為一種經濟有效的方法，圖像超分辨率重建(Super Resolution，SR)就是基于此的一種有效方法。

從廣義上說，圖像超分辨率重建方法主要分為基于多幅圖像的超分辨率重建方法和基于單幅圖像的超分辨率重建方法。由于后者的適用范圍廣泛，學習效果好，近年來成了眾多學者研究的重點之一。例如文獻1提出了一種基于位置限制的鄰域嵌入和中間字典的多層人臉超分辨率重建的方法，利用圖像塊局部幾何結構的流形限制進行超分辨率重建，捕捉了圖像的退化過程，并通過構建中間字典的方法增強了重建高分辨率人臉圖像和原始高分辨率圖像之間的一致性，從而重建出高質量的人臉圖像，但是直接將由低分辨率圖像得到的映射關系應用到高分辨率圖像上并不完全適合高分辨率圖像，低分辨率圖像與高分辨率圖像之間存在的差異容易造成圖像重建的誤差。CN103824272B公開了基于K近鄰重識別的人臉超分辨率重建方法，該方法同時利用低分辨率流形和高分辨率流形的幾何信息對識別出的近鄰圖像塊進行更新，由重新識別的近鄰圖像塊計算權重系數，高分辨率圖像提供的信息彌補了低分辨率圖像提供信息的不足，重建圖像的質量有了較大的提升，然而該方法在進行了一次K近鄰圖像塊搜索之后又在所有高分辨率圖像塊中再進行一次近鄰塊的搜索，然后選取重復次數最多的圖像塊作為訓練圖像塊，兩次搜索過程和一次比較過程降低了重建方法的效率。上述兩種基于鄰域嵌入的人臉超分辨率重建方法均存在圖像容易由于過擬合或者欠擬合產生模糊的現象的缺陷。為了解決這個問題，將稀疏先驗的知識引入到人臉超分辨率重建中，CN103325104A提出一種基于迭代稀疏表達的人臉圖像超分辨率重建的方法，首先對高分辨率人臉估計圖像用一個高分辨率人臉圖像字典進行線性表達，再使用基于局部線性回歸方法對得到的高分辨率人臉估計結果，最后通過迭代的方式收斂到穩定值，得到最終的重建人臉圖像，解決了人臉圖像超分辨率對人臉圖像對齊不準的問題，然而字典的訓練過程以及迭代收斂過程會花費很長時間，導致實時性差的缺陷。上述基于鄰域嵌入和基于稀疏表達的超分辨率重建方法均存在重建的人臉圖像依然不能滿足人們對高質量圖像的需求的不足。為了充分利用不同人臉圖像具有相似性的特征，文獻2提出了基于位置塊的人臉圖像超分辨率重建方法，假設不同人臉圖像相同位置處的圖像塊具有相同的圖像結構，直接使用訓練集中相同位置處的人臉圖像塊組成集合來重構人臉圖像的方法，然而該方法直接使用相同位置的所有塊進行重建，忽略了少數差異較大的塊對重建帶來的影響，存在重建圖像容易出現部分模糊現象的缺陷。文獻3中提出通過加入低秩約束的方法挑選出訓練集中與輸入塊相同類別的圖像塊進行重建，但是該方法存在過度依賴訓練集，沒有利用輸入圖像自身的性質的缺陷。文獻4中提出根據輸入塊與訓練集中相同位置塊的距離構建權重矩陣來求解映射矩陣，然而該基于位置塊的方法都是由低分辨率人臉圖像塊訓練出人臉圖像塊之間的映射關系，沒有考慮高分辨率人臉圖像塊之間的關系可能影響人臉圖像的重建效果，且人臉圖像的重建過程不能體現圖像的衰減過程，重建的高分辨率人臉圖像存在局部重影的現象的缺陷。