[發明專利]一種基于多尺度字典的圖網絡人臉恢復方法

有效

• 申請號: 202110525279.5
• 申請日: 2021-05-11
• 公開（公告）號: CN113128624B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 蹇木偉;王芮;王星;陳吉;董良;董波;黃振;何為凱;陳振學;尹義龍
• 申請（專利權）人: 山東財經大學;臨沂大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V40/16;G06V10/80;G06V10/82;G06V10/74;G06V10/762;G06N3/0464;G06N3/08
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 張貴賓

本發明提供了一種基于多尺度字典的圖網絡人臉恢復方法,包括S1多尺度語義成分離線字典構建模塊；S2根據人臉解析圖生成人臉語義成分庫；S3提取每個語義成分的多尺度特征，生成多尺度的人臉語義成分特征庫；S4構建多尺度人臉語義成分字典；S5：建圖像降級模型，生成低質量人臉數據集；S6：對的數據預處理，重復S2?S3；S7：查詢字典，獲得與相似的語義成分，保存；S8圖模型構建；S9語義特征融合。通過本發明的技術方案，本發明面向社會多監控場景下人臉圖像低質量的問題，采用離線字典查詢來構建圖模型和特征融合操作來實現人臉細節恢復。具體實施時，本發明技術方案可采用計算機軟件技術實現自動運行流程。

技術領域

本發明涉及視覺與圖像處理技術領域，具體而言，特別涉及一種基于多尺度字典的圖網絡人臉恢復方法。

背景技術

盲臉修復屬于領域特定的圖像修復問題，具體是指將低質量的人臉圖像進行高清復原或者提高分辨率的方法，其中的“盲”是指人臉的退化函數的類型、數量我們是無法事先獲知的。在現實情況中，由于受到成像系統(監控設備)、圖像傳輸與存儲以及成像條件(如光照、距離、天氣)等多方面因素的影響，造成退化函數本身會非常復雜，那么捕獲的面部圖像往往受到嚴重的干擾和損毀而形成低質量的模糊圖像，分辨率偏低且面部細節丟失，從而會影響人臉識別等關鍵計算機視覺下游任務的性能。因此，深入研究圖像恢復技術來構建高性能的重建模型，實現面部圖像從低質量到高質量的恢復是十分重要和必要的。

人臉超分辨率的概念最早由貝克和卡納德[1]在2000年首次提出，這是人臉超分辨率技術的先驅。從那時起，先后有大批學者提出了許多創新方法并產生一系列優秀的研究成果。尤其是近年來隨著深度學習技術的迅速發展，大量的基于深度學習的人臉超分辨方法被提出。其中，一部分方法重點探索了用于人臉超分辨的有效網絡的潛力，而拋開了人臉的特殊性；但由于人臉面部圖像相對于自然圖像是一個高度結構化的對象，因此有大量方法探索和利用了面部的獨特信息(如人臉地標、人臉熱圖、人臉解析圖等)作為先驗知識來促進面部恢復。雖然精心設計的網絡架構和先驗信息在深度神經網絡中的整合使得恢復結果趨于更加合理和可接受，但是實際的低質量人臉圖像通常包含復雜而多樣的分布，從而使得盲目恢復問題變得更加棘手，因此有研究學者使用其他高質量的面部圖像作為先驗參考來幫助恢復，以改善網絡學習的過程并減輕網絡對降級輸入的依賴性?；趨⒖嫉拿娌炕謴头椒ㄔ谡鎸嵉唾|量圖像上恢復高頻細節的強大功能，備受學者們的關注。其中，GFRNet[2]和GWAINet[3]采用正面HQ圖像作為參考來指導退化觀測的恢復。但是，這兩種方法都有兩個缺點。1)他們必須獲得與LQ圖像具有相同身份的正面HQ參考。2)參考和降級輸入之間的姿勢和表情的差異將影響重建性能。這兩個要求將它們的應用能力限制在某些特定情況下。為了解決這個問題，DFDNet[4]啟發于不同身份之間的每個組成部分可能具有相似的結構(如牙齒，鼻子和眼睛)，提出了一個深度人臉字典網絡來指導人臉恢復過程。但是該工作也存在不足之處，其構建的字典的每個語義成分都是基于區域塊的featuremap，很難充分挖掘和利用相似圖像的內部紋理信息。

綜上所述，針對盲臉恢復這種更細粒度的圖像修復任務，基于參考的面部恢復方法在真實低質量圖像上恢復高頻細節可以表現出更出色的性能，而無需知道退化類型或參數。其中，參考字典的構建質量與字典特征的轉移和融合對圖像恢復起到關鍵作用。

發明內容

本發明面向社會多監控場景下人臉圖像低質量的問題，采用離線字典查詢來構建圖模型和特征融合操作來實現人臉細節恢復。具體實施時，本發明技術方案可采用計算機軟件技術實現自動運行流程。為了彌補現有技術的不足，本發明提供了一種基于多尺度字典的圖網絡人臉恢復方法。

本發明是通過如下技術方案實現的：一種基于多尺度字典的圖網絡人臉恢復方法，具體步驟如下：

S1：多尺度語義成分離線字典構建模塊：構建用于生成字典的高分辨人臉圖像數據集I_HR；

S2：根據人臉解析圖生成人臉語義成分庫