[發明專利]一種面向監控場景的行人人臉超分辨率重建方法

在審

• 申請號: 201810224421.0
• 申請日: 2018-03-19
• 公開（公告）號: CN108765279A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 楊金福;王美杰;張京玲;李明愛;許兵兵
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/00;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

本發明提出一種面向監控場景的行人人臉超分辨率重建方法，將行人人臉檢測和人臉超分辨率重建統一到一個網絡中，實現以端到端的方式輸出人臉超分辨率圖像，并給出針對行人人臉不可避免的不對齊、含有噪聲等問題的解決方法。本發明分為行人人臉檢測部分和人臉超分辨重建部分。給定一張行人的圖像，首先利用人臉檢測網絡生成候選人臉的包圍盒，然后將得到的包圍盒輸入人臉超分辨網絡中，生成高分辨率的人臉圖像。在聯合優化的過程中，人臉檢測網絡和人臉超分辨網絡相互適應。本發明能夠為視頻監控的行人再識別技術提供有效的信息，幫助完成尋找特定行人的任務，突破現有再識別中依靠行人外表等屬性來區分不同的行人，有效利用關鍵的人臉信息。

技術領域

本發明涉及視頻監控分析技術領域和人臉超分辨重建領域，特別是涉及一種行人人臉檢測和人臉超分辨重建領域，具體涉及一種面向監控場景的行人人臉超分辨率重建方法

背景技術

在大型商場、游樂園等人口密集的公共場所，經常需要從視頻監控得到的圖像中來查找一些特殊身份的人，而由于行人與攝像頭之間的距離較遠以及攝像頭分辨率有限等原因往往無法識別圖像中的行人。人臉作為圖像中經常被關注的敏感區域，對特定身份的人的識別起到至關重要的作用，但是從視頻監控中獲取的低分辨率人臉圖像包含信息量比較少，同時伴隨著姿態、表情、光照等因素使得提取有效的人臉特征較為困難，增加了人臉識別的難度。因此，如何通過低分辨率的行人圖像重建高分辨的行人人臉圖像，從而進一步進行識別和應用，一直以來都是監控分析領域和人臉超分辨重建領域中所致力解決的關鍵問題之一。

現有的研究通常把上述問題分為兩個獨立的子問題：人臉檢測和人臉超分辨重建。在視頻監控中的人臉檢測技術，與傳統的對靜態圖像的人臉檢測技術不同，不是人臉迎合攝像頭，而是要由攝像頭來捕捉人臉，因此，具有更大的挑戰。人臉超分辨率重建是一種從低分辨率人臉圖像重建出其相應的高分辨率人臉圖像的技術。現有的人臉超分辨率方法常假設輸入的人臉圖像足夠大并且是對齊的、無噪聲的。而從視頻監控中獲得的人臉圖像常常是含有噪聲的、非對齊的、低分辨率圖像，導致現有方法的性能會產生較大幅度的下降。

2016年，Dong等率先將卷積神經網絡引入到圖像超分辨率復原的問題中,設計了基于深度卷積神經網絡的圖像超分辨率復原方法。該方法的主要思想是:以深度學習與傳統稀疏編碼之間的關系作為依據,將網絡分為圖像塊提取、非線性映射和圖像重建三個階段,再將這三個階段統一到一個深度卷積神經網絡框架中,實現由低分辨率圖像到高分辨率圖像之間的端到端學習。該方法的重建結果比SCSR(Sparse coding based superresolution)方法的結果有較大提高。但是該方法的輸入為對齊的、無噪聲的低分辨率人臉圖像，所以，在實際應用場景中的性能會有大幅度下降。

為了彌補從低分辨率的行人圖像到高分辨率的人臉圖像的差距，同時也為了解決實際中的人臉圖像的不對齊、含有噪聲的現象所導致重建重影問題，本發明提出一種面向視頻監控的人臉檢測與人臉超分辨重建方法，該網絡使用一個端到端網絡實現了人臉檢測和將非對齊的、含有噪聲的人臉的超分辨重建。

參考文獻：

[1]Yu X,Porikli F.Hallucinating very low-resolution unaligned andnoisy face images by transformative discriminative autoencoders[C]//Proceedings ofthe IEEE Conference on Computer Vision and PatternRecognition.2017:3760-3768.

[2]Dong C,Loy C C,He K M,Tang X O.Image superresolution using deepconvolutional networks.IEEE Transactions on Pattern Analysis and MachineIntelligence,2016,38(2):295-307

發明內容