[發明專利]一種基于卷積神經網絡的人臉圖像光照遷移方法

有效

• 申請號: 201911335861.4
• 申請日: 2019-12-23
• 公開（公告）號: CN111091492B
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 金鑫;李忠蘭;肖超恩
• 申請（專利權）人: 韶鼎人工智能科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 鄧治平

一種基于卷積神經網絡的人臉圖像光照遷移方法，通過使用卷積神經網絡CNN實現對人臉圖像的光照遷移。該方法主要是由兩個部分來實現：光照模型訓練和光照分類、光照匹配以及在借鑒圖像風格遷移的基礎上實現的光照遷移。首先通過結合卷積神經網絡VGG19和VGG16在Yale Face人臉數據集和PIE人臉數據集上完成光照的分類，得到能夠分類人臉圖像光照的模型；然后利用該模型，實現了對單幅人臉圖像的光照匹配，能夠從人臉圖像光照數據集中，得到與給定的人臉圖像光照相似的圖像；最后通過光照分類模型，對給定的參考人臉光照圖像提取并處理相關光照特征便于遷移到輸入人臉圖像，實現了對單幅人臉圖像光照的整體遷移。

技術領域

本發明是一種基于卷積神經網絡的人臉圖像光照遷移方法，屬于計算機視覺領域。

背景技術

圖像的光照效果在計算機視覺領域內的多個研究方向都是研究熱點，對人像圖像自身也很重要。光影的效果在現代數字影視制作、人像攝影美化、廣告等藝術設計方面都有廣泛的應用需求。影視制作中的難題之一即如何捕捉到演員最佳鏡頭表現的同時，場景中的光照效果為最理想的效果。從改進拍攝工藝方面解決這一難題，面臨昂貴的成本費用，從后期制作方面解決這一難題，面臨復雜的技術處理手段。在人像攝影美化方面，面臨與影視制作類似的難題，專業攝像設置理想的攝像光照場景成本過高，也受攝像師個人能力等因素的影響，而后期使用專業的圖像處理軟件也需要時間和人力成本，十分復雜。

人臉圖像光照遷移將為上述難題提供一個簡單的解決方案。在圖像光照問題上，它只需給定理想光照效果的圖像，即可將該光照效果遷移到目標圖像上，使目標圖像獲得理想的光照效果。在視頻圖像問題上，它需要給定理想光照效果的圖像或者視頻，將該光照遷移到目標圖像或視頻中，兩者中有一方或兩方為視頻文件。光照遷移旨在只需提供理想的光照效果，即可一步生成有理想光照效果的目標圖像或視頻，無需復雜的操作手段和方式，節省時間、人力、資源成本。目前人臉圖像光照遷移方法均只改變了人臉圖像面部的光照，沒有處理人臉圖像脖子和背景部分的光照。而實際應用場景中，人臉部分和非人臉部分密不可分，只改變人臉部分的光照不完全符合實際應用需求。本發明針對該問題，研究能夠對整幅人臉圖像做光照遷移的方法。它能使目標圖像獲得理想光照效果的同時，更接近實際的光照遷移應用場景。

發明內容

本發明的技術解決問題：在傳統的人臉妝容和風格遷移的基礎上提出基于卷積神經網絡的人臉圖像光照遷移。在結合了深度神經網絡之后使光照遷移的效果更好、更接近真實圖像光照效果，流程簡單功能更強大。

本發明的技術解決方案：一種基于卷積神經網絡的人臉圖像光照遷移方法，包括如下步驟：

步驟1、數據集的準備及建立；

步驟2、預訓練模型的準備；

步驟3、得到光照分類模型；

步驟4、基于光照分類模型的光照匹配；

步驟5、基于光照分類模型的光照遷移，具體如下：

其中，所述步驟1、數據集的準備及建立：目前光照分類比較詳細的數據集有YaleFace數據集和PIE數據集。Yale Face數據集B包含10個攝影對象，9名男性1名女性，均為黑白圖像。每位攝像對象包含9種姿勢，每種姿勢下有64種光照效果，總5760張包含背景的人臉光照圖像。兩個數據集共21888張人臉圖像。PIE人臉數據集是彩色人臉數據集，共68個攝影對象，包含男性、女性和所有人種。其中，包含13種姿勢的沒有背景燈光的人臉光照圖像，3種姿勢的包含背景燈光的人臉光照圖像，每種姿勢下包含21種光照，以攝像機的x方向、y方向、z方向的位置來分類。該數據集的人臉光照圖像部分共22848張圖片，采用包含背景燈光且姿勢為面對攝像機的圖片，共1428張圖片。