[發(fā)明專利]基于多引導(dǎo)圖和自適應(yīng)特征融合的人臉圖像復(fù)原系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010039493.5
• 申請(qǐng)日: 2020-01-15
• 公開（公告）號(hào): CN111260577B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 左旺孟;李曉明;李文瑜;張宏志
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06V40/16;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 哈爾濱市松花江專利商標(biāo)事務(wù)所 23109
• 代理人: 時(shí)起磊

1.基于多引導(dǎo)圖和自適應(yīng)特征融合的人臉圖像復(fù)原系統(tǒng)，其特征在于所述系統(tǒng)包括最優(yōu)引導(dǎo)圖選擇模塊、最優(yōu)引導(dǎo)圖特征提取模塊、退化圖特征提取模塊、退化圖人臉關(guān)鍵點(diǎn)特征提取模塊、最優(yōu)引導(dǎo)圖特征姿態(tài)糾正模塊、光照分布糾正模塊、逐級(jí)自適應(yīng)特征融合模塊和復(fù)原結(jié)果重建模塊，

所述最優(yōu)引導(dǎo)圖選擇模塊通過計(jì)算退化圖和引導(dǎo)圖之間人臉關(guān)鍵點(diǎn)的優(yōu)化加權(quán)仿射變換距離，在多個(gè)引導(dǎo)圖中選擇出對(duì)于退化圖具有最相似表情和姿態(tài)的最優(yōu)引導(dǎo)圖；

所述最優(yōu)引導(dǎo)圖特征提取模塊用于提取最優(yōu)引導(dǎo)圖的特征；

所述退化圖特征提取模塊用于提取退化圖的特征；

所述退化圖人臉關(guān)鍵點(diǎn)特征提取模塊用于根據(jù)退化圖的關(guān)鍵點(diǎn)獲得人臉面部關(guān)鍵點(diǎn)特征，其中，退化圖的關(guān)鍵點(diǎn)通過人臉關(guān)鍵點(diǎn)檢測(cè)算法對(duì)退化圖進(jìn)行關(guān)鍵點(diǎn)檢測(cè)得到；

所述最優(yōu)引導(dǎo)圖特征姿態(tài)糾正模塊通過計(jì)算人臉面部關(guān)鍵點(diǎn)特征以及最優(yōu)引導(dǎo)圖關(guān)鍵點(diǎn)之間的移動(dòng)最小二乘獲得形變向量，將最優(yōu)引導(dǎo)圖形變到退化圖姿態(tài)和表情上，獲得形變后最優(yōu)引導(dǎo)圖，其中，最優(yōu)引導(dǎo)圖關(guān)鍵點(diǎn)通過人臉關(guān)鍵點(diǎn)檢測(cè)算法對(duì)最優(yōu)引導(dǎo)圖進(jìn)行關(guān)鍵點(diǎn)檢測(cè)得到；

所述光照分布糾正模塊用于將形變后的最優(yōu)引導(dǎo)圖的特征與退化圖的特征進(jìn)行自適應(yīng)的實(shí)例歸一化操作，獲得最終引導(dǎo)圖的特征；

所述逐級(jí)自適應(yīng)特征融合模塊用于將最終引導(dǎo)圖的特征動(dòng)態(tài)自適應(yīng)且逐級(jí)的加入到退化圖的特征中，獲得增強(qiáng)后的退化圖的特征；

所述復(fù)原結(jié)果重建模塊用于將增強(qiáng)后的退化圖的特征經(jīng)過多層神經(jīng)網(wǎng)絡(luò)輸出復(fù)原人臉圖；

所述最優(yōu)引導(dǎo)圖特征提取模塊包含M1個(gè)空洞卷積殘差單元，所述退化圖特征提取模塊包含M2個(gè)空洞卷積殘差單元、所述退化圖人臉關(guān)鍵點(diǎn)特征提取模塊包含M3個(gè)無偏差卷積層，所述逐級(jí)自適應(yīng)特征融合模塊包含M4個(gè)自適應(yīng)特征融合單元、所述復(fù)原結(jié)果重建模塊中多層神經(jīng)網(wǎng)絡(luò)為M5個(gè)空洞卷積殘差單元，其中，M1、M2、M3、M4、M5均大于或等于1；

所述自適應(yīng)特征融合單元為4個(gè)，包括自適應(yīng)特征融合單元P1、P2、P3和P4，其執(zhí)行如下步驟：

輸入最終引導(dǎo)圖特征、退化圖特征、退化圖人臉關(guān)鍵點(diǎn)特征，

P1特征融合時(shí)：

卷積層C19用于對(duì)退化圖特征進(jìn)行第一次卷積操作，進(jìn)一步特征提??；

卷積層C20用于對(duì)最終引導(dǎo)圖特征進(jìn)行第二次卷積操作，進(jìn)一步特征提?。?/p>

卷積層C21用于對(duì)人臉關(guān)鍵點(diǎn)特征進(jìn)行第三次卷積操作，進(jìn)一步特征提??；

串聯(lián)層T1將卷積層C19、C20和C21的輸出進(jìn)行特征串聯(lián)；

卷積層C22對(duì)T1的輸出進(jìn)行第四次卷積操作、激活操作；

卷積層C23對(duì)C22的輸出進(jìn)行第五次卷積操作、激活操作；

卷積層C24對(duì)退化圖特征進(jìn)行第六次卷積、激活操作；

卷積層C25對(duì)C24的輸出進(jìn)行第七次卷積、激活操作；

卷積層C26對(duì)最終引導(dǎo)圖特征進(jìn)行第八次卷積、激活操作；

卷積層C27對(duì)C26的輸出進(jìn)行第九次卷積、激活操作；

殘差層J1對(duì)C25層的輸出與C27層的輸出進(jìn)行相減操作；

尺度層將J1的輸出與C23層的輸出進(jìn)行相乘操作；

復(fù)原層F1將尺度層J1的輸出與退化圖特征經(jīng)過兩層128個(gè)3*3，步長(zhǎng)為1的卷積操作后特征進(jìn)行相加，輸出第P1級(jí)增強(qiáng)特征；

第一到第三卷積操作均為64個(gè)1*1，步長(zhǎng)為1的卷積操作；

第四到七卷積操作為128個(gè)3*3，步長(zhǎng)為1的卷積操作；

第八到九卷積操作為128個(gè)1*1，步長(zhǎng)為1的卷積操作；

P2特征融合時(shí)：

卷積層C28用于對(duì)P1增強(qiáng)后退化圖特征進(jìn)行第一次卷積操作，進(jìn)一步特征提?。?/p>

卷積層C29用于對(duì)最終引導(dǎo)圖特征進(jìn)行第二次卷積操作，進(jìn)一步特征提??；

卷積層C30用于對(duì)人臉關(guān)鍵點(diǎn)特征進(jìn)行第三次卷積操作，進(jìn)一步特征提??；

串聯(lián)層T2將卷積層C28、C29和C30的輸出進(jìn)行特征串聯(lián)；

卷積層C31對(duì)T2的輸出進(jìn)行第四次卷積操作、激活操作；

卷積層C32對(duì)C31的輸出進(jìn)行第五次卷積操作、激活操作；

卷積層C33對(duì)退化圖特征進(jìn)行第六次卷積、激活操作；

卷積層C34對(duì)C33的輸出進(jìn)行第七次卷積、激活操作；

卷積層C35對(duì)P1增強(qiáng)后退化圖特征進(jìn)行第八次卷積、激活操作；

卷積層C36對(duì)C35的輸出進(jìn)行第九次卷積、激活操作；

殘差層J2對(duì)C34層的輸出與C36層的輸出進(jìn)行相減操作；

尺度層將J2的輸出與C32層的輸出進(jìn)行相乘操作；

復(fù)原層F2將尺度層J2的輸出與退化圖特征經(jīng)過兩層128個(gè)3*3，步長(zhǎng)為1的卷積操作后特征進(jìn)行相加，輸出第P2級(jí)增強(qiáng)特征；

第一到第三卷積操作均為64個(gè)1*1，步長(zhǎng)為1的卷積操作；

第四到七卷積操作為128個(gè)3*3，步長(zhǎng)為1的卷積操作；

第八到九卷積操作為128個(gè)1*1，步長(zhǎng)為1的卷積操作；

P3特征融合時(shí)：

卷積層C37用于對(duì)P2增強(qiáng)后退化圖特征進(jìn)行第一次卷積操作，進(jìn)一步特征提?。?/p>

卷積層C38用于對(duì)最終引導(dǎo)圖特征進(jìn)行第二次卷積操作，進(jìn)一步特征提取；

卷積層C39用于對(duì)人臉關(guān)鍵點(diǎn)特征進(jìn)行第三次卷積操作，進(jìn)一步特征提??；

串聯(lián)層T3將卷積層C37、C38和C39的輸出進(jìn)行特征串聯(lián)；

卷積層C40對(duì)T3的輸出進(jìn)行第四次卷積操作、激活操作；

卷積層C41對(duì)C40的輸出進(jìn)行第五次卷積操作、激活操作；

卷積層C42對(duì)退化圖特征進(jìn)行第六次卷積、激活操作；

卷積層C43對(duì)C44的輸出進(jìn)行第七次卷積、激活操作；

卷積層C45對(duì)P1增強(qiáng)后退化圖特征進(jìn)行第八次卷積、激活操作；

卷積層C46對(duì)C45的輸出進(jìn)行第九次卷積、激活操作；

殘差層J3對(duì)C43層的輸出與C46層的輸出進(jìn)行相減操作；

尺度層將J3的輸出與C41層的輸出進(jìn)行相乘操作；

復(fù)原層F3將尺度層J3的輸出與退化圖特征經(jīng)過兩層128個(gè)3*3，步長(zhǎng)為1的卷積操作后特征進(jìn)行相加，輸出第P3級(jí)增強(qiáng)特征；

第一到第三卷積操作均為64個(gè)1*1，步長(zhǎng)為1的卷積操作；

第四到七卷積操作為128個(gè)3*3，步長(zhǎng)為1的卷積操作；

第八到九卷積操作為128個(gè)1*1，步長(zhǎng)為1的卷積操作；

P4特征融合時(shí)：

卷積層C47用于對(duì)P3增強(qiáng)后退化圖特征進(jìn)行第一次卷積操作，進(jìn)一步特征提?。?/p>

卷積層C48用于對(duì)最終引導(dǎo)圖特征進(jìn)行第二次卷積操作，進(jìn)一步特征提?。?/p>

卷積層C49用于對(duì)人臉關(guān)鍵點(diǎn)特征進(jìn)行第三次卷積操作，進(jìn)一步特征提??；

串聯(lián)層T4將卷積層C47、C48和C49的輸出進(jìn)行特征串聯(lián)；

卷積層C50對(duì)T4的輸出進(jìn)行第四次卷積操作、激活操作；

卷積層C51對(duì)C50的輸出進(jìn)行第五次卷積操作、激活操作；

卷積層C52對(duì)退化圖特征進(jìn)行第六次卷積、激活操作；

卷積層C53對(duì)C32的輸出進(jìn)行第七次卷積、激活操作；

卷積層C54對(duì)P1增強(qiáng)后退化圖特征進(jìn)行第八次卷積、激活操作；

卷積層C55對(duì)C54的輸出進(jìn)行第九次卷積、激活操作；

殘差層J4對(duì)C53層的輸出與C55層的輸出進(jìn)行相減操作；

尺度層將J4的輸出與C51層的輸出進(jìn)行相乘操作；

復(fù)原層F4將尺度層J4的輸出與退化圖特征經(jīng)過兩層128個(gè)3*3，步長(zhǎng)為1的卷積操作后特征進(jìn)行相加，輸出第P4級(jí)增強(qiáng)特征；

第一到第三卷積操作均為64個(gè)1*1，步長(zhǎng)為1的卷積操作；

第四到七卷積操作為128個(gè)3*3，步長(zhǎng)為1的卷積操作；

第八到九卷積操作為128個(gè)1*1，步長(zhǎng)為1的卷積操作；

最后輸出多級(jí)自適應(yīng)特征融合后的增強(qiáng)退化圖特征；

所述最優(yōu)引導(dǎo)圖特征姿態(tài)糾正模塊執(zhí)行如下步驟：

輸入最優(yōu)引導(dǎo)圖的特征、最優(yōu)引導(dǎo)圖人臉關(guān)鍵點(diǎn)、退化圖人臉關(guān)鍵點(diǎn)；

定義最優(yōu)引導(dǎo)圖特征為F^g，最優(yōu)引導(dǎo)圖的人臉關(guān)鍵點(diǎn)為L(zhǎng)^g，退化圖的人臉關(guān)鍵點(diǎn)為L(zhǎng)^d；利用移動(dòng)的最小二乘形變方法，每個(gè)點(diǎn)的仿射變換矩陣為：

其中：p為給定的關(guān)鍵點(diǎn)位置，為L(zhǎng)^d的增廣矩陣，

根據(jù)仿射變換矩陣，通過雙線性插值方式，獲得的形變最優(yōu)引導(dǎo)圖特征為：

為4近鄰點(diǎn)，輸出為形變后的最優(yōu)引導(dǎo)圖的特征。