[發(fā)明專(zhuān)利]基于多引導(dǎo)圖和自適應(yīng)特征融合的人臉圖像復(fù)原系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010039493.5
• 申請(qǐng)日: 2020-01-15
• 公開(kāi)（公告）號(hào): CN111260577B
• 公開(kāi)（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 左旺孟;李曉明;李文瑜;張宏志
• 申請(qǐng)（專(zhuān)利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06V40/16;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 哈爾濱市松花江專(zhuān)利商標(biāo)事務(wù)所 23109
• 代理人: 時(shí)起磊

基于多引導(dǎo)圖和自適應(yīng)特征融合的人臉圖像復(fù)原系統(tǒng)，涉及圖像復(fù)原處理技術(shù)領(lǐng)域，為解決現(xiàn)有技術(shù)中無(wú)法有效的復(fù)原真實(shí)低質(zhì)量圖像的問(wèn)題，包括最優(yōu)引導(dǎo)圖選擇模塊、最優(yōu)引導(dǎo)圖特征提取模塊、退化圖特征提取模塊、退化圖人臉關(guān)鍵點(diǎn)特征提取模塊、最優(yōu)引導(dǎo)圖特征姿態(tài)糾正模塊、光照分布糾正模塊、逐級(jí)自適應(yīng)特征融合模塊和復(fù)原結(jié)果重建模塊，本發(fā)明所述的基于多引導(dǎo)圖和自適應(yīng)特征融合的人臉圖像復(fù)原系統(tǒng)能夠有效地對(duì)低質(zhì)量人臉圖像進(jìn)行增強(qiáng)，可以有效的復(fù)原真實(shí)低質(zhì)量圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像復(fù)原處理技術(shù)領(lǐng)域，具體為一種基于多引導(dǎo)圖和自適應(yīng)特征融合的人臉圖像復(fù)原系統(tǒng)。

背景技術(shù)

人臉圖像復(fù)原目的是從一幅低質(zhì)量人臉圖像(模糊、低分辨率、壓縮嚴(yán)重、噪聲多等常見(jiàn)低質(zhì)量)復(fù)原出高質(zhì)量人臉圖像。低質(zhì)量人臉圖像通常由于拍攝年代久遠(yuǎn)、拍攝設(shè)備受限、在存儲(chǔ)過(guò)程中存在的失真，不可避免的會(huì)降低人臉圖像質(zhì)量。隨著技術(shù)的發(fā)展，人們?cè)絹?lái)越追求高視覺(jué)質(zhì)量的多媒體信息，例如2K和4K視頻。因此，如何把低質(zhì)量人臉圖像復(fù)原為高質(zhì)量的圖像，一直都是學(xué)者們研究的熱點(diǎn)。

近年來(lái)，隨著深度學(xué)習(xí)的進(jìn)一步發(fā)展，圖像復(fù)原也逐漸獲得突破性的進(jìn)展。學(xué)者們將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到不同的單一復(fù)原任務(wù)中，例如超分辨，去燥，去模糊等操作中，也同樣獲得了實(shí)際性進(jìn)展。然而，真實(shí)的低質(zhì)量圖像由于其未知退化類(lèi)型，因此，現(xiàn)有的方法無(wú)法對(duì)其進(jìn)行有效復(fù)原和增強(qiáng)，往往無(wú)法取得較理想的增強(qiáng)效果。

現(xiàn)有的基于正面引導(dǎo)圖的人臉復(fù)原工作，對(duì)于每一個(gè)人只取一張正面圖像作為引導(dǎo)信息，無(wú)法適應(yīng)到在真實(shí)的人臉復(fù)原工作中。人臉由于多樣性，具有不同的姿態(tài)、表情以及光照影響，單一的引導(dǎo)圖無(wú)法適應(yīng)于真實(shí)人臉復(fù)原場(chǎng)景中。

此外，通過(guò)簡(jiǎn)單地將引導(dǎo)圖與退化圖特征串聯(lián)，無(wú)法有效發(fā)揮出引導(dǎo)圖作用。退化圖需要有效的根據(jù)退化圖的退化程度，從而提供相應(yīng)的特征。

發(fā)明內(nèi)容

本發(fā)明的目的是：針對(duì)現(xiàn)有技術(shù)中無(wú)法有效的復(fù)原真實(shí)低質(zhì)量圖像的問(wèn)題，提出一種基于多引導(dǎo)圖和自適應(yīng)特征融合的人臉圖像復(fù)原系統(tǒng)。

本發(fā)明為了解決上述技術(shù)問(wèn)題采取的技術(shù)方案是：

基于多引導(dǎo)圖和自適應(yīng)特征融合的人臉圖像復(fù)原系統(tǒng)，所述系統(tǒng)包括最優(yōu)引導(dǎo)圖選擇模塊、最優(yōu)引導(dǎo)圖特征提取模塊、退化圖特征提取模塊、退化圖人臉關(guān)鍵點(diǎn)特征提取模塊、最優(yōu)引導(dǎo)圖特征姿態(tài)糾正模塊、光照分布糾正模塊、逐級(jí)自適應(yīng)特征融合模塊和復(fù)原結(jié)果重建模塊，

所述最優(yōu)引導(dǎo)圖選擇模塊通過(guò)計(jì)算退化圖和引導(dǎo)圖之間人臉關(guān)鍵點(diǎn)的優(yōu)化加權(quán)仿射變換距離，在多個(gè)引導(dǎo)圖中選擇出對(duì)于退化圖具有最相似表情和姿態(tài)的最優(yōu)引導(dǎo)圖；

所述最優(yōu)引導(dǎo)圖特征提取模塊用于提取最優(yōu)引導(dǎo)圖的特征；

所述退化圖特征提取模塊用于提取退化圖的特征；

所述退化圖人臉關(guān)鍵點(diǎn)特征提取模塊用于根據(jù)退化圖的關(guān)鍵點(diǎn)獲得人臉面部關(guān)鍵點(diǎn)特征，其中，退化圖的關(guān)鍵點(diǎn)通過(guò)人臉關(guān)鍵點(diǎn)檢測(cè)算法對(duì)退化圖進(jìn)行關(guān)鍵點(diǎn)檢測(cè)得到；

所述最優(yōu)引導(dǎo)圖特征姿態(tài)糾正模塊通過(guò)計(jì)算人臉面部關(guān)鍵點(diǎn)特征以及最優(yōu)引導(dǎo)圖關(guān)鍵點(diǎn)之間的移動(dòng)最小二乘獲得形變向量，將最優(yōu)引導(dǎo)圖形變到退化圖姿態(tài)和表情上，獲得形變后最優(yōu)引導(dǎo)圖，其中，最優(yōu)引導(dǎo)圖關(guān)鍵點(diǎn)通過(guò)人臉關(guān)鍵點(diǎn)檢測(cè)算法對(duì)最優(yōu)引導(dǎo)圖進(jìn)行關(guān)鍵點(diǎn)檢測(cè)得到；

所述光照分布糾正模塊用于將形變后的最優(yōu)引導(dǎo)圖的特征與退化圖的特征進(jìn)行自適應(yīng)的實(shí)例歸一化操作，獲得最終引導(dǎo)圖的特征；

所述逐級(jí)自適應(yīng)特征融合模塊用于將最終引導(dǎo)圖的特征動(dòng)態(tài)自適應(yīng)且逐級(jí)的加入到退化圖的特征中，獲得增強(qiáng)后的退化圖的特征；

所述復(fù)原結(jié)果重建模塊用于將增強(qiáng)后的退化圖的特征經(jīng)過(guò)多層神經(jīng)網(wǎng)絡(luò)輸出復(fù)原人臉圖。