[發明專利]基于域遷移融合網絡的多攝像頭人臉超分辨率方法及系統

在審

• 申請號: 202210692899.2
• 申請日: 2022-06-17
• 公開（公告）號: CN115131205A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 韓鎮;溫佳興;李雅雙;胡輝;王中元
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00;G06V40/16;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

本發明提供一種基于域遷移融合網絡的多攝像頭人臉超分辨率方法及系統，將原始真實監控數據集中的人臉圖像進行預處理，構建身份對齊圖像數據集；構建多攝像頭人臉融合超分辨率網絡，包括特征配準模塊、特征融合模塊和權重調節模塊；構建基于域遷移融合網絡的多攝像頭人臉超分辨率網絡，利用域遷移架構進行無監督訓練；利用訓練后的網絡模型，輸入兩張不同模態的低分辨率人臉圖像，重建高清人臉。本發明利用多攝像頭人臉之間的互補性，既增強了人臉圖像主觀視覺效果，又保留了人臉輸入的身份信息；采用偽孿生結構，充分利用了不同模態攝像頭間的信息互補性；采用域遷移架構以適應真實場景，使得超分辨率重建人臉圖像質量更佳。

技術領域

本發明屬于數字圖像技術領域，涉及一種智能人臉超分辨率方案，具體涉及一種基于域遷移融合網絡的多攝像頭人臉超分辨率方案。

背景技術

近年來隨著監控攝像設備的多元化，應用日益廣泛，例如刑偵人員在視頻偵查過程中會獲取到嫌疑人的多攝像頭異質人臉圖像，即不同類型攝像頭，比如可見光和紅外攝像頭在不同環境條件下拍攝的同一對象非連續多幀人臉圖像。與傳統的同質多幀人臉圖像相比，多攝像頭多幀人臉圖像之間存在兩方面問題：(1)降質過程不一致：不同攝像頭類型、不同拍攝環境會導致拍攝圖像的降質過程不同；(2)時域相關性缺失：不同時間拍攝的圖像之間不具有連續的運動軌跡和姿態變化，不具有時域上的相關性。現有多幀人臉超分辨率方法假設輸入的多幀圖像之間既具有一致的降質過程，也具有時域相關性，不適用于多攝像頭人臉超分辨率。

基于深度卷積神經網絡(CNN)的圖像超分辨率方法在近幾年取得了迅速發展。2020年， FuzhiYang等人([文獻1])提出了一種用于基于參考幀的圖像超分辨率新型紋理變換器網絡。 2021年，YumingJiang等人([文獻2])利用一個教師-學徒訓練策略，顯式提取并匹配參考圖像和低質量圖像的參考幀超分辨率方法。2022年，提出一個先清除降質再進行超分的兩段式盲視頻多幀超分方法。

現有多幀圖像的超分辨率方法主要針對于視頻多幀圖像超分辨率和基于參考幀的圖像超分辨率，沒有考慮到多攝像頭圖像超分辨率所面臨的降質過程不一致和時域相關性缺失的問題。

[文獻1]Ahn,N.,Kang,B.,and Sohn,K.-A.:‘Fast,accurate,and lightweightsuper-resolution with cascading residual network’,in Editor(Ed.)^(Eds.):‘BookFast,accurate,and lightweight super-resolution with cascading residualnetwork’(2018,edn.),pp.252-268.

[文獻2]Hui,Z.,Gao,X.,Yang,Y.,and Wang,X.:‘Lightweight image super-resolution with information multi-distillation network’,in Editor(Ed.)^(Eds.):‘Book Lightweight image super-resolution with information multi-distillation network’(2019,edn.),pp.2024-2032.

[文獻3]Kelvin C.K.Chan,Shangchen Zhou,Xiangyu Xu,and Chen ChangeLoy.Investigating tradeoffs in real-world video super-resolution.In IEEEConference on Computer Vision and Pattern Recognition,2022.

發明內容

為了解決上述技術問題，本發明提供了一種基于域遷移融合網絡的多攝像頭人臉超分辨率方案。

本發明所采用的技術方案是一種基于域遷移融合網絡的多攝像頭人臉超分辨率方法，包括以下步驟：