[發(fā)明專利]一種基于卷積自編碼網(wǎng)絡(luò)的人臉光照歸一化方法

有效

• 申請?zhí)枺?/td>: 202010102138.8
• 申請日: 2020-02-19
• 公開（公告）號: CN111292407B
• 公開（公告）日: 2022-11-18
• 發(fā)明（設(shè)計）人: 達(dá)飛鵬;李春露;王辰星
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06T15/50
• 分類號: G06T15/50;G06T5/10;G06V40/16;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 劉莎

1.一種基于卷積自編碼網(wǎng)絡(luò)的人臉光照歸一化方法，其特征在于：包括以下步驟：

步驟1：利用三維人臉數(shù)據(jù)和光照模型，生成不同光照下的人臉數(shù)據(jù)樣本，將生成的不同光照下的人臉數(shù)據(jù)樣本作為輸入、對應(yīng)的三維人臉數(shù)據(jù)作為監(jiān)督信號進(jìn)行卷積自編碼網(wǎng)絡(luò)的訓(xùn)練；

步驟2：將待歸一化的原始圖片輸入步驟1訓(xùn)練好的卷積自編碼網(wǎng)絡(luò)，得到初步歸一化后的圖片；

步驟3，使用不同的高斯核對待歸一化的原始圖片進(jìn)行模糊，得到一組模糊程度不同的模糊樣本，將模糊樣本分別與初步歸一化后的圖片進(jìn)行比較，將其中模糊程度和初步歸一化后的圖片最接近的模糊樣本作為參考圖片；

步驟4：在頻域上比較參考圖片與待歸一化的原始圖片，找到卷積自編碼網(wǎng)絡(luò)輸出的歸一化結(jié)果所損失的高頻細(xì)節(jié)信息所在頻帶，具體為：

步驟4.1：利用DCT變換，分別將待歸一化的原始圖片I_org、初步歸一化后的圖片I_CAE與參考圖片I_ref從空間域轉(zhuǎn)化到頻域中，得到對應(yīng)的DCT矩陣C_org、C_CAE和C_ref；

步驟4.2：按照頻率由低到高的順序分別將C_org、C_CAE和C_ref映射為一維向量c_org(ω)、c_CAE(ω)和c_ref(ω)；

步驟4.3：在頻域中，對每一頻率ω，計算C_org和C_ref的DCT系數(shù)誤差，誤差定義如下：

步驟4.4：對D(ω)進(jìn)行平滑，定義高頻細(xì)節(jié)信息與低頻信息的分界頻率為：

其中，α為常數(shù)，取值范圍為0.1-0.2之間；(·)″為函數(shù)“·”的二階導(dǎo)數(shù)；

步驟4.5：定義高頻細(xì)節(jié)信息所在頻帶為[ω_b,M×N]，其中，M×N為I_org的大小；

步驟5：將待歸一化的原始圖片的高頻分量和初步歸一化后的圖片的低頻分量在頻域上進(jìn)行融合并變換到空間域，得到待歸一化的原始圖片的光照歸一化結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于卷積自編碼網(wǎng)絡(luò)的人臉光照歸一化方法，其特征在于：所述步驟3中使用圖片質(zhì)量評估指標(biāo)SSIM對模糊樣本和初步歸一化后的圖片進(jìn)行比較。

3.根據(jù)權(quán)利要求2所述的基于卷積自編碼網(wǎng)絡(luò)的人臉光照歸一化方法，其特征在于：所述步驟3具體包括以下步驟：

步驟3.1：改變高斯核的大小、標(biāo)準(zhǔn)差，對大小為M×N的待歸一化的原始圖片I_org進(jìn)行模糊，得到N個模糊樣本

步驟3.2：使用SSIM比較初步歸一化后的圖片I_CAE和N個模糊樣本的質(zhì)量相似度，找出與I_CAE相似度最高的一張模糊樣本作為參考樣本I_ref。

4.根據(jù)權(quán)利要求1所述的基于卷積自編碼網(wǎng)絡(luò)的人臉光照歸一化方法，其特征在于：所述步驟5具體包括以下步驟：

步驟5.1：提取c_org(ω)位于頻帶[ω_b,M×N]的高頻細(xì)節(jié)信息，記為c_orgH；提取c_CAE(ω)位于頻帶[1,ω_b]的信息，記為c_CAEL；將c_orgH和c_CAEL在頻域中進(jìn)行融合，得到一維向量c_out(ω)＝[c_CAEL,c_orgH]；

步驟5.2：將一維向量c_out(ω)恢復(fù)到二維空間，得到對應(yīng)的DCT系數(shù)矩陣C_out(ω)，再進(jìn)行DCT反變換，得到最終的光照歸一化結(jié)果I_out。