[發明專利]基于域遷移融合網絡的多攝像頭人臉超分辨率方法及系統

在審

• 申請號: 202210692899.2
• 申請日: 2022-06-17
• 公開（公告）號: CN115131205A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 韓鎮;溫佳興;李雅雙;胡輝;王中元
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00;G06V40/16;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

1.一種基于域遷移融合網絡的多攝像頭人臉超分辨率方法，包括以下步驟：

步驟1，構建數據集，包括將原始真實監控數據集中的人臉圖像進行預處理，構建訓練域遷移融合網絡所需的低質量人臉-高質量身份信息的身份對齊圖像數據集；

步驟2，構建多攝像頭人臉融合超分辨率網絡，所述多攝像頭人臉融合超分辨率網絡包括特征配準模塊、特征融合模塊和權重調節模塊，首先在特征配準模塊根據預超分圖像獲取對應的五官位置掩膜并進行五官特征配準得到配準后的圖像；其次，利用權重調節模塊在兩個配準特征間獲取可信權重信息；最后根據進行特征配準后的人臉和可信權重，通過特征融合模塊進行自適應融合，獲得最終輸出人臉；

步驟3，構建基于域遷移融合網絡的多攝像頭人臉超分辨率網絡，該網絡利用域遷移架構進行無監督訓練，將真實監控人臉超分辨率至高清域，將兩個域遷移架構組成偽孿生結構，并提出人臉特征識別損失，從損失函數層面上利用不同模態人臉間的身份相關性，嵌入步驟2所得多攝像頭人臉融合超分網絡，利用不同人臉間的特征相關性，進一步提升超分質量；

步驟4，采用訓練數據集對基于域遷移融合網絡的多攝像頭人臉超分辨率網絡進行訓練，得到訓練好的網絡模型；

步驟5，利用訓練后的網絡模型，輸入兩張不同模態的低分辨率人臉圖像，重建高清人臉。

2.根據權利要求1所述一種基于域遷移融合網絡的多攝像頭人臉超分辨率方法，其特征在于：所述特征配準模塊由預超分子模塊和人臉標點子模塊組成，預超分子模塊包括一個Unet卷積網絡，人臉標點子模塊采用四個StackedHourGlass網絡塊組成的堆疊沙漏網絡實現。

3.根據權利要求1所述一種基于域遷移融合網絡的多攝像頭人臉超分辨率方法，其特征在于：所述權重調節模塊包含全局融合權重分支和局部融合權重分支，全局合權重分支由兩個3×3卷積網絡塊、一個全局池化層和兩個1×1卷積網絡塊依次串聯組成；局部融合權重分支由三個3×3卷積網絡塊和兩個1×1卷積網絡塊串聯組成；在最后將分別生成的全局融合權重和局部融合權重相加送入激活層得到最終的融合可信權重。

4.根據權利要求1所述一種基于域遷移融合網絡的多攝像頭人臉超分辨率方法，其特征在于：所述特征融合模塊包括頭尾兩部分，頭部首先分別對四組五官特征左眼、右眼、鼻子、嘴巴，利用三個不同大小卷積核的多尺度可變性卷積DeformmableConv對輸入進行特征提取，并將輸出的三組特征進行通道疊加，再送入一個可變形卷積塊DeformBlock，最后對四組特征進行像素相加；尾部設置了一個共享網絡權重的雙分支特征融合網絡，每個分支包含5個密集連接的融合塊。