[發(fā)明專利]基于域遷移融合網(wǎng)絡(luò)的多攝像頭人臉超分辨率方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210692899.2
• 申請日: 2022-06-17
• 公開（公告）號: CN115131205A
• 公開（公告）日: 2022-09-30
• 發(fā)明（設(shè)計）人: 韓鎮(zhèn);溫佳興;李雅雙;胡輝;王中元
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00;G06V40/16;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 嚴彥

1.一種基于域遷移融合網(wǎng)絡(luò)的多攝像頭人臉超分辨率方法，包括以下步驟：

步驟1，構(gòu)建數(shù)據(jù)集，包括將原始真實監(jiān)控數(shù)據(jù)集中的人臉圖像進行預(yù)處理，構(gòu)建訓(xùn)練域遷移融合網(wǎng)絡(luò)所需的低質(zhì)量人臉-高質(zhì)量身份信息的身份對齊圖像數(shù)據(jù)集；

步驟2，構(gòu)建多攝像頭人臉融合超分辨率網(wǎng)絡(luò)，所述多攝像頭人臉融合超分辨率網(wǎng)絡(luò)包括特征配準模塊、特征融合模塊和權(quán)重調(diào)節(jié)模塊，首先在特征配準模塊根據(jù)預(yù)超分圖像獲取對應(yīng)的五官位置掩膜并進行五官特征配準得到配準后的圖像；其次，利用權(quán)重調(diào)節(jié)模塊在兩個配準特征間獲取可信權(quán)重信息；最后根據(jù)進行特征配準后的人臉和可信權(quán)重，通過特征融合模塊進行自適應(yīng)融合，獲得最終輸出人臉；

步驟3，構(gòu)建基于域遷移融合網(wǎng)絡(luò)的多攝像頭人臉超分辨率網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用域遷移架構(gòu)進行無監(jiān)督訓(xùn)練，將真實監(jiān)控人臉超分辨率至高清域，將兩個域遷移架構(gòu)組成偽孿生結(jié)構(gòu)，并提出人臉特征識別損失，從損失函數(shù)層面上利用不同模態(tài)人臉間的身份相關(guān)性，嵌入步驟2所得多攝像頭人臉融合超分網(wǎng)絡(luò)，利用不同人臉間的特征相關(guān)性，進一步提升超分質(zhì)量；

步驟4，采用訓(xùn)練數(shù)據(jù)集對基于域遷移融合網(wǎng)絡(luò)的多攝像頭人臉超分辨率網(wǎng)絡(luò)進行訓(xùn)練，得到訓(xùn)練好的網(wǎng)絡(luò)模型；

步驟5，利用訓(xùn)練后的網(wǎng)絡(luò)模型，輸入兩張不同模態(tài)的低分辨率人臉圖像，重建高清人臉。

2.根據(jù)權(quán)利要求1所述一種基于域遷移融合網(wǎng)絡(luò)的多攝像頭人臉超分辨率方法，其特征在于：所述特征配準模塊由預(yù)超分子模塊和人臉標點子模塊組成，預(yù)超分子模塊包括一個Unet卷積網(wǎng)絡(luò)，人臉標點子模塊采用四個StackedHourGlass網(wǎng)絡(luò)塊組成的堆疊沙漏網(wǎng)絡(luò)實現(xiàn)。

3.根據(jù)權(quán)利要求1所述一種基于域遷移融合網(wǎng)絡(luò)的多攝像頭人臉超分辨率方法，其特征在于：所述權(quán)重調(diào)節(jié)模塊包含全局融合權(quán)重分支和局部融合權(quán)重分支，全局合權(quán)重分支由兩個3×3卷積網(wǎng)絡(luò)塊、一個全局池化層和兩個1×1卷積網(wǎng)絡(luò)塊依次串聯(lián)組成；局部融合權(quán)重分支由三個3×3卷積網(wǎng)絡(luò)塊和兩個1×1卷積網(wǎng)絡(luò)塊串聯(lián)組成；在最后將分別生成的全局融合權(quán)重和局部融合權(quán)重相加送入激活層得到最終的融合可信權(quán)重。

4.根據(jù)權(quán)利要求1所述一種基于域遷移融合網(wǎng)絡(luò)的多攝像頭人臉超分辨率方法，其特征在于：所述特征融合模塊包括頭尾兩部分，頭部首先分別對四組五官特征左眼、右眼、鼻子、嘴巴，利用三個不同大小卷積核的多尺度可變性卷積DeformmableConv對輸入進行特征提取，并將輸出的三組特征進行通道疊加，再送入一個可變形卷積塊DeformBlock，最后對四組特征進行像素相加；尾部設(shè)置了一個共享網(wǎng)絡(luò)權(quán)重的雙分支特征融合網(wǎng)絡(luò)，每個分支包含5個密集連接的融合塊。