[發(fā)明專利]基于經(jīng)驗關系偏差糾正的魯棒人臉超分辨處理方法及其系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210183572.2
• 申請日: 2022-02-28
• 公開（公告）號: CN114549323A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設計）人: 陳亮;吳怡;徐哲鑫;鄒文斌
• 申請（專利權）人: 福建師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00;G06T5/00;G06V40/16
• 代理公司: 福州君誠知識產(chǎn)權代理有限公司 35211
• 代理人: 戴雨君

本發(fā)明公開基于經(jīng)驗關系偏差糾正的魯棒人臉超分辨處理方法及其系統(tǒng)，構建包含高分辨率人臉圖像庫及其對應多種降質的低分辨率人臉圖像庫的訓練庫；基于原始訓練庫模型和輸入圖像構建用于補充信息的低分辨率圖像；在原始訓練庫中分別通過高分辨率和低分辨率兩種渠道建立關聯(lián)度經(jīng)驗值和個體值兩種模型；通過關聯(lián)度以輸入圖像的近鄰為橋梁，計算個體偏移量，基于個體偏差計算求得低分辨率增廣庫的表達系數(shù)；根據(jù)表達系數(shù)和對應高分辨率增廣庫的塊求得重建高分辨率圖像塊；根據(jù)位置i拼接高分辨率人臉圖像塊得高分辨率人臉圖像。本發(fā)明可顯著提高恢復圖像的視覺感受，特別適用于低質量監(jiān)控環(huán)境下人臉圖像的恢復。

技術領域

本發(fā)明涉及圖像處理和圖像恢復技術領域，尤其涉及基于經(jīng)驗關系偏差糾正的魯棒人臉超分辨處理方法及其系統(tǒng)。

背景技術

人臉超分辨率技術是通過學習制備好的高低分辨率圖像庫中訓練對之間的高低分辨率對應關系，為低分辨率到高分辨率的過程提供有效的約束和指導，估計出高分辨率人臉圖像用以機器或人眼的辨識。該技術廣泛引用于各個視覺處理技術，如人臉識別的前后處理、監(jiān)控錄像中的人臉圖像增強等等。然而，由于成像環(huán)境復雜多變，成像的降質條件更是繁雜多樣，難以統(tǒng)一。導致人臉圖像增強難度系數(shù)大大增加，因此需采用人臉超分辨率技術提升圖像有效尺寸和有效分辨率，達到從低分辨率圖像恢復到高分辨率圖像的目的。然而現(xiàn)有的算法往往針對單一降質而設計，面對復雜繁多的降質條件下生成的多種低質量人臉圖像，難以有效的恢復出可供辨識的人臉圖像。

為解決對多種繁雜降質的低質量人臉圖像的恢復問題，傳統(tǒng)算法往往采用各種先驗信息輔助從單一種類的降質數(shù)據(jù)庫中分析、挑選或者改進算法，具體做法即引入有效計算工具和數(shù)據(jù)利用形式。這種做法中，對后驗知識的忽略，導致了算法有效性和普適性的缺陷，即遭遇復雜降質過程時，算法的魯棒性較低，難以有效增強人臉圖像，進而造成算法的易用性和有效性較低。一個經(jīng)典的算法類別就是基于流形學習的類別。

流形學習作為人臉超分辨率的經(jīng)典算法之一，核心思想在于，采用流形表達作為工具，解釋低分辨率到高分辨率的質量上升過程，具體為：對高低分辨率兩個樣本空間，尋找出每個低分辨率圖像數(shù)據(jù)點周圍的局部性質，然后將低分辨率圖像的流形局部性質非線性地映射到高分辨率圖像的流形空間中，在高分辨率對應空間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法：2004年，Chang[1]等首次將流形學習法引入圖像超分辨率重構中，提出了一種鄰域嵌入的圖像超分辨率重構法。Sung Won Park[2]提出一種基于局部保持投影的自適應流形學習方法，從局部子流形分析人臉的內在特征，重構出低分辨率圖像缺失的高頻成分。2010年，Huang[4]提出基于CCA(Canonical CorrelationAnalysis，CCA)的方法，通過將PCA(Principal Component Analysis，PCA)空間延伸至CCA空間，進一步解決了這個問題。同年，Lan[5]針對監(jiān)控環(huán)境下嚴重的模糊和噪聲導致的圖像像素損毀嚴重的問題，提出一種基于形狀約束的人臉超分辨率方法，在傳統(tǒng)PCA架構中添加形狀約束作為相似度度量準則，利用人眼睛識別形狀時對干擾的魯棒性來人工添加形狀特征點作為約束，優(yōu)化低質量圖像的重建結果。

現(xiàn)有的這些方法大多僅按照傳統(tǒng)的技術思路，關注先驗知識的提取，關注降質種類固定且單一的高低分辨率圖像庫的制備和先驗知識利用，忽略了輸入圖像可能存在與圖像庫異質的復雜降質過程的事實，導致算法對于含有不同降質過程的異質圖像的重建效果不理想，尤其在監(jiān)控等包含多種光照、距離的復雜多樣的降質環(huán)境下，由于無法嚴格控制真實降質條件與在庫單一降質條件的統(tǒng)一性，導致捕獲到的低質量人臉圖像與樣本庫中的人臉圖像存在著較大的降質過程差異，而且這種差異存在明顯的多樣性。巨大的差異和差異多樣性造成的重建誤差復雜多樣，無法用現(xiàn)有的針對單一降質的先驗知識和模型工具統(tǒng)一處理，造成魯棒性不足，效果令人不滿意的后果。

發(fā)明內容

本發(fā)明的目的在于提供基于經(jīng)驗關系偏差糾正的魯棒人臉超分辨處理方法及其系統(tǒng)。

本發(fā)明采用的技術方案是：