[發明專利]一種基于有監督逐像素生成對抗網絡的人臉超分辨率方法

有效

• 申請號: 201910879159.8
• 申請日: 2019-09-18
• 公開（公告）號: CN110689482B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 凌強;張夢磊;李峰
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 鄧治平;賈玉忠

本發明涉及一種基于有監督逐像素生成對抗網絡的人臉超分辨率方法，首先讀取原始人臉圖片數據集；然后進行數據裁剪清洗等預處理工作；第三讀取高分辨率人臉圖像進行雙三次插值下采樣，獲得高分辨率人臉圖像?低分辨率人臉圖像對；第四將低分辨率人臉圖像輸入到生成器網絡生成超分辨率人臉圖像；第五再將高分辨率人臉圖像和超分辨率圖像分別輸入到逐像素判別器網絡，使用逐像素判別器網絡輸出的逐像素判別矩陣計算有監督的逐像素對抗損失函數，使用誤差反向傳播訓練生成器網絡。

技術領域

本發明涉及圖像重建方法領域，具體涉及一種基于有監督逐像素生成對抗網絡的人臉超分辨率方法。

背景技術

隨著機場、地鐵、購物中心等擁擠區域的安防標準不斷提高，基于機器視覺的智能監控系統受到了越來越多的關注。大多數監控視頻為了得到更廣闊的視野，通常采集到的人臉通常分辨率較小，相對于清晰、高分辨率圖片，小尺度人臉圖片區分度和信息量都大大降低，因此監控視頻人臉識別系統需要針對小尺度人臉圖片進行超分辨率重建。超分辨率重建方法可以恢復人臉圖片的紋理細節，提高低分辨率圖片人臉識別準確度。

目前，關于人臉圖像超分辨重建的算法已經被研究了許多年，但是大多數基于深度學習的人臉圖像超分辨率重建算法僅使用均方誤差作為損失函數，造成重建的人臉圖片過于平滑，缺少紋理細節，不利于后續的人臉識別。基于生成對抗網絡的圖像超分辨率重建方法使用無監督的方式，容易引入噪聲影響人臉識別精度。因此如何針對低分辨率人臉圖片，研究更加有效的超分辨率重建方法，提高低分辨率人臉識別準確度，成為監控視頻低分辨率人臉識別的關鍵問題。

現有的人臉圖像超分辨率方法可以分為三種類型：基于插值的方法，基于統計的方法和基于學習的方法。在早期，前兩類方法因其計算效率優勢而得到廣泛的關注。但是，這兩類方法總是局限于較小的超分辨率倍數(2×超分辨)，超分辨率倍數增大時(4×或者8×超分辨)效果較差。基于學習的方法【1】使用大量的低分辨率-高分辨率圖像對來訓練人臉超分辨率重建模型，使得訓練好的模型可以根據輸入數據來推斷出低分辨率圖片所缺失的高頻信息，并且在較大放大倍數時也可以得到較好的超分辨率重建效果。基于深度學習的方法具有從大規模數據庫中學習知識的強大能力，因而被引入到圖像超分辨率重建問題。但是這些基于卷積神經網絡的方法大多數主要使用均方誤差(MSE)損失函數【2】來學習低分辨率圖像到高分辨率圖像之間的映射關系，當輸入圖像分辨率非常低并且放大倍數很大時，就會導致輸出過度平滑。

目前人臉圖像超分辨率重建領域主要有三種方法來緩解過度平滑問題。第一種是利用人臉分析技術來學習人臉圖像的結構先驗信息。劉等人【3】在重建高分辨率人臉圖像之前估計人臉的關鍵點和面部姿勢先驗信息，然后使用這些先驗信息進行人臉圖像超分辨率重建工作，但是當人臉圖像分辨率較小時先驗信息很難準確估計。朱等人【4】提出了人臉超分辨率重建和場景估計的統一框架，以恢復紋理細節。他們在較小的人臉圖像上實現了最先進的結果，但是在各種姿態和遮擋條件下，由于難以進行準確的場景估計，超分辨重建結果并不理想。第二種方法是引入語義損失函數，直接提升輸出圖像所包含的語義信息。約翰遜等人【5】使用預先訓練好的分類模型提取特征計算損失作為語義損失來恢復更多的語義信息。然而，其缺點是特征作為損失函數并不是非常直觀。最后一種方式【6】是用生成對抗網絡引入圖像先驗知識。于等人【7】提出一個生成對抗網絡(GAN【8】)來對16×16像素大小的人臉圖像進行8×超分辨。生成對抗網絡可以恢復更加真實的紋理細節，但是傳統無監督的生成對抗網絡學習方式使得生成的圖像與原始圖像差距較大，無法用于進行人臉識別，因此需要針對這一問題加以改進。

【1】Dong C，Loy C C，He K，et al.Image super-resolution using deepconvolutional networks[J].IEEE transactions on pattern analysis and machineintelligence，2015，38(2)：295-307.