[發(fā)明專利]一種基于雙路徑深度融合的人臉幻構(gòu)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011080370.2
• 申請(qǐng)日: 2020-10-10
• 公開(kāi)（公告）號(hào): CN112288626B
• 公開(kāi)（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 王中元;江奎;易鵬;何政;傅佑銘
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06V40/16;G06V10/80;G06V10/82;G06K9/62
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 肖明洲

本發(fā)明公開(kāi)了一種基于雙路徑深度融合的人臉幻構(gòu)方法及系統(tǒng)，本發(fā)明在人臉的全局特征提取過(guò)程中，利用循環(huán)卷積和殘差學(xué)習(xí)來(lái)提取人臉特征，用于人臉的全局輪廓建模。在基于塊的人臉局部結(jié)構(gòu)信息表達(dá)過(guò)程中，對(duì)輸入的人臉進(jìn)行采樣，得到大量的局部人臉塊，用于獨(dú)立建模低分辨率和高分辨率局部塊之間的映射關(guān)系；此外，局部塊的特征表達(dá)被重排映射回全局人臉空間。在人臉全局和局部特征融合幻構(gòu)中，將全局的輪廓特征和人臉的局部特征進(jìn)行融合，從而實(shí)現(xiàn)高質(zhì)量人臉幻構(gòu)。本發(fā)明有效提取人臉的全局輪廓特征和獨(dú)立學(xué)習(xí)局部塊的高低維映射關(guān)系，并實(shí)現(xiàn)有效的融合，使得幻構(gòu)的人臉圖像輪廓更清晰，紋理細(xì)節(jié)更豐富。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)字圖像技術(shù)領(lǐng)域，涉及一種低分辨率人臉幻構(gòu)方法及系統(tǒng)，具體涉及一種基于雙路徑深度融合的人臉幻構(gòu)方法及系統(tǒng)。

背景技術(shù)

視頻監(jiān)控等獲得低質(zhì)量人臉圖像具有信息量少，內(nèi)容模糊，分辨率低等特點(diǎn)，極大影響了對(duì)圖像或視頻內(nèi)容的理解，從而干擾下游的高層次計(jì)算機(jī)視覺(jué)任務(wù)的精度。因此，低分辨率人臉幻構(gòu)是一項(xiàng)改善圖像視覺(jué)體驗(yàn)的基本處理，也是許多計(jì)算機(jī)視覺(jué)任務(wù)(如人臉檢測(cè)、識(shí)別和行人追蹤等等)的重要預(yù)處理步驟。

由于深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像處理領(lǐng)域取得了較好的成果，近年來(lái)，基于深度學(xué)習(xí)的人臉幻構(gòu)方法被相繼提出并得到了迅速發(fā)展。2016年，Yu等構(gòu)建了一個(gè)鑒別生成網(wǎng)絡(luò)來(lái)超分幻構(gòu)對(duì)齊人臉。2017年，Dahl提出像素遞歸網(wǎng)絡(luò)來(lái)處理人臉的高質(zhì)量幻構(gòu)。2019年，通過(guò)在殘差圖像或特征圖上添加額外的面部屬性信息，Yu等人提出了一個(gè)屬性嵌入的采樣網(wǎng)絡(luò)，顯著降低了人臉超分辨率中的模糊度。

現(xiàn)有基于深度學(xué)習(xí)的人臉幻構(gòu)模型利用卷積神經(jīng)網(wǎng)絡(luò)，直接學(xué)習(xí)得到高分辨率幻構(gòu)人臉圖像。這種方式雖然可以提升輸入圖像和分辨率和增加部分信息量，但卻沒(méi)有考慮人臉全局和局部特征的表達(dá)差異和內(nèi)在關(guān)聯(lián)，未能判別學(xué)習(xí)全局人臉輪廓和局部五官特征。因此，對(duì)于極低分辨率或者壓縮失真的人臉，現(xiàn)有人臉幻構(gòu)算法通常對(duì)局部五官特征表示能力有限，無(wú)法幻構(gòu)出高質(zhì)量的人臉圖像。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于雙路徑深度融合的人臉幻構(gòu)方法及系統(tǒng)。

本發(fā)明的方法所采用的技術(shù)方案是：一種基于雙路徑深度融合的人臉幻構(gòu)系統(tǒng)，其特征在于，包括以下步驟：

步驟1：構(gòu)建人臉圖像數(shù)據(jù)集，包括訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；每個(gè)數(shù)據(jù)集包含若干數(shù)量的成對(duì)數(shù)據(jù)，即高分辨率人臉圖像和對(duì)應(yīng)的低分辨率人臉圖像；將訓(xùn)練數(shù)據(jù)集中的人臉圖像對(duì)進(jìn)行裁剪，得到N×N大小的圖像塊，作為訓(xùn)練樣本；其中，N為預(yù)設(shè)值；

步驟2：分批次將步驟1中人臉圖像塊輸入到卷積神經(jīng)網(wǎng)絡(luò)中，分別輸入到全局記憶分支網(wǎng)絡(luò)和局部增強(qiáng)分支網(wǎng)絡(luò)進(jìn)行特征提取；

步驟3：在全局記憶分支網(wǎng)絡(luò)中，利用初始化卷積將低分辨率人臉圖像塊從圖像空間映射到特征空間，編碼圖像的全局特征關(guān)聯(lián)，學(xué)習(xí)人臉的全局輪廓特征；

步驟4：在局部增強(qiáng)子網(wǎng)絡(luò)中，通過(guò)M×M的采樣器對(duì)輸入的低分辨率人臉圖像塊進(jìn)行無(wú)重疊采樣，得到(N/M)×(N/M)個(gè)人臉塊；

步驟5：對(duì)步驟4得到的人臉塊進(jìn)行特征提取，學(xué)習(xí)低分辨率到高分辨率圖像局部塊之間的映射關(guān)系，得到人臉塊的特征表達(dá)；

步驟6：將步驟5中得到的人臉塊的特征表達(dá)輸入到上采樣層，利用亞像素卷積將這些局部映射編碼重排到全局空間，得到整張人臉的局部特征表達(dá)；

步驟7：將步驟3得到的全局人臉輪廓特征和步驟6中得到的人臉的局部特征進(jìn)行特征的融合，實(shí)現(xiàn)人臉特征的全局和局部協(xié)同表達(dá)，并映射到原始的圖像空間，并輸出對(duì)應(yīng)的殘差人臉圖像；將回歸得到的殘差人臉圖像與低分辨率人臉圖像的插值結(jié)果進(jìn)行相加，輸出得到高質(zhì)量人臉圖像，作為高質(zhì)量幻構(gòu)人臉；

步驟8：通過(guò)最小化步驟7中輸出的高質(zhì)量幻構(gòu)人臉和原始高分辨率人臉的余弦距離，優(yōu)化提出的雙路徑深度融合網(wǎng)絡(luò)，實(shí)現(xiàn)低分辨率人臉的幻構(gòu)。