[發明專利]一種基于卷積自編碼網絡的人臉光照歸一化方法

有效

• 申請號: 202010102138.8
• 申請日: 2020-02-19
• 公開（公告）號: CN111292407B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 達飛鵬;李春露;王辰星
• 申請（專利權）人: 東南大學
• 主分類號: G06T15/50
• 分類號: G06T15/50;G06T5/10;G06V40/16;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 劉莎

1.一種基于卷積自編碼網絡的人臉光照歸一化方法，其特征在于：包括以下步驟：

步驟1：利用三維人臉數據和光照模型，生成不同光照下的人臉數據樣本，將生成的不同光照下的人臉數據樣本作為輸入、對應的三維人臉數據作為監督信號進行卷積自編碼網絡的訓練；

步驟2：將待歸一化的原始圖片輸入步驟1訓練好的卷積自編碼網絡，得到初步歸一化后的圖片；

步驟3，使用不同的高斯核對待歸一化的原始圖片進行模糊，得到一組模糊程度不同的模糊樣本，將模糊樣本分別與初步歸一化后的圖片進行比較，將其中模糊程度和初步歸一化后的圖片最接近的模糊樣本作為參考圖片；

步驟4：在頻域上比較參考圖片與待歸一化的原始圖片，找到卷積自編碼網絡輸出的歸一化結果所損失的高頻細節信息所在頻帶，具體為：

步驟4.1：利用DCT變換，分別將待歸一化的原始圖片I_org、初步歸一化后的圖片I_CAE與參考圖片I_ref從空間域轉化到頻域中，得到對應的DCT矩陣C_org、C_CAE和C_ref；

步驟4.2：按照頻率由低到高的順序分別將C_org、C_CAE和C_ref映射為一維向量c_org(ω)、c_CAE(ω)和c_ref(ω)；

步驟4.3：在頻域中，對每一頻率ω，計算C_org和C_ref的DCT系數誤差，誤差定義如下：

步驟4.4：對D(ω)進行平滑，定義高頻細節信息與低頻信息的分界頻率為：

其中，α為常數，取值范圍為0.1-0.2之間；(·)″為函數“·”的二階導數；

步驟4.5：定義高頻細節信息所在頻帶為[ω_b,M×N]，其中，M×N為I_org的大??；

步驟5：將待歸一化的原始圖片的高頻分量和初步歸一化后的圖片的低頻分量在頻域上進行融合并變換到空間域，得到待歸一化的原始圖片的光照歸一化結果。

2.根據權利要求1所述的基于卷積自編碼網絡的人臉光照歸一化方法，其特征在于：所述步驟3中使用圖片質量評估指標SSIM對模糊樣本和初步歸一化后的圖片進行比較。

3.根據權利要求2所述的基于卷積自編碼網絡的人臉光照歸一化方法，其特征在于：所述步驟3具體包括以下步驟：

步驟3.1：改變高斯核的大小、標準差，對大小為M×N的待歸一化的原始圖片I_org進行模糊，得到N個模糊樣本

步驟3.2：使用SSIM比較初步歸一化后的圖片I_CAE和N個模糊樣本的質量相似度，找出與I_CAE相似度最高的一張模糊樣本作為參考樣本I_ref。

4.根據權利要求1所述的基于卷積自編碼網絡的人臉光照歸一化方法，其特征在于：所述步驟5具體包括以下步驟：

步驟5.1：提取c_org(ω)位于頻帶[ω_b,M×N]的高頻細節信息，記為c_orgH；提取c_CAE(ω)位于頻帶[1,ω_b]的信息，記為c_CAEL；將c_orgH和c_CAEL在頻域中進行融合，得到一維向量c_out(ω)＝[c_CAEL,c_orgH]；

步驟5.2：將一維向量c_out(ω)恢復到二維空間，得到對應的DCT系數矩陣C_out(ω)，再進行DCT反變換，得到最終的光照歸一化結果I_out。