[發明專利]一種基于卷積神經網絡的人臉圖像光照遷移方法

有效

• 申請號: 201911335861.4
• 申請日: 2019-12-23
• 公開（公告）號: CN111091492B
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 金鑫;李忠蘭;肖超恩
• 申請（專利權）人: 韶鼎人工智能科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 鄧治平

1.一種基于卷積神經網絡的人臉圖像光照遷移方法，其特征在于，包括如下步驟：

步驟1、數據集的準備及建立；

步驟2、預訓練模型的準備；

步驟3、得到光照分類模型；

步驟4、基于光照分類模型的光照匹配；

步驟5、基于光照分類模型的光照遷移；

步驟(4)基于光照分類模型的光照匹配具體包括如下步驟：

(4.1)開始；

(4.2)將人臉光照圖像輸入到光照分類模型：訓練光照分類模型首先按照分類任務去掉原網絡的最后一層全連接層，添加新的用于訓練的softmax層、top1-error層和top5-error層，根據數據集的類別數添加新的全連接層，Yale Face數據集為64類，PIE數據集為21類；然后微調fine tune整個網絡，微調網絡前幾層的權重，學習率設置為1*10^-4，迭代300輪，完成人臉圖像光照分類任務；

(4.3)取出模型最后一層全連接層的輸出值：采用的VGG神經網絡由卷積層、全連接層、池化層、softmax層構成，卷積層運算的輸出圖像特征信息，在光照分類模型的基礎上，使用Yale Face數據集訓練出的模型，尋找光照信息與模型最后一層全連接層的輸出之間的關聯，完成對人臉光照圖像的光照匹配；

(4.4)得出最大值及所在維度的序號：圖像經過網絡全連接層的輸出和圖像類別的標簽，輸出的64維數據中最大值對應的維度序號與圖像類別標簽的序號相同，得到最大值及所在維度的序號；

(4.5)利用步驟(4.4)得到最大值及所在維度的序號在人臉數據集中尋找與輸入圖像維度序號相同的圖像：在人臉數據集中找到與輸入圖像的維度序號相同的圖像以便達到光照的匹配；

(4.6)對比所有維度序號相同圖像的最大值：在人臉數據集中尋找到的與輸入圖像維度序號相同的圖像中，對比所有維度序號相同圖像的最大值得到的最大值圖像即為人臉數據集中圖像與輸入圖像光照最匹配的圖像；

(4.7)輸出最大值圖像作為與輸入圖像最接近的圖像的匹配圖像；

(4.8)結束。

2.根據權利要求1所述的一種基于卷積神經網絡的人臉圖像光照遷移方法，其特征在于，步驟(1)數據集的準備及建立，包括如下步驟：

對Yale Face人臉數據集，采用28個攝影對象的人臉數據用于訓練，10個攝影對象的人臉數據用于測試；

對PIE人臉數據集，使用50個攝影對象的人臉數據用于訓練，18個攝影對象的人臉數據用于測試；對圖像數據做摳圖處理。

3.根據權利要求1所述的一種基于卷積神經網絡的人臉圖像光照遷移方法，其特征在于，步驟(2)預訓練模型的準備，包括：

針對于Yale Face人臉數據集，采用VGG19卷積神經網絡，Matconvnet提供的物體分類數據集ImageNet的預訓練模型；

對PIE人臉數據集，使用卷積神經網絡VGG16，Matconvnet提供的人臉識別模型VggFace的預訓練模型。

4.根據權利要求1所述的一種基于卷積神經網絡的人臉圖像光照遷移方法，其特征在于，步驟(3)得到光照分類模型如下：

訓練光照分類模型首先按照分類任務去掉原網絡的最后一層全連接層，添加新的用于訓練的softmax層、top1-error層和top5-error層，根據數據集的類別數添加新的全連接層，Yale Face數據集為64類，PIE數據集為21類；然后fine tune整個網絡，微調網絡前幾層的權重，學習率設置為1*10^-4，迭代300輪，完成人臉圖像光照分類任務，由VGG16網絡和VGGFace預訓練模型訓練出光照分類模型。

5.根據權利要求1所述的一種基于卷積神經網絡的人臉圖像光照遷移方法，其特征在于，步驟(4)基于光照分類模型的光照匹配如下：

在人臉光照圖像數據集中尋找與輸入圖像光照效果相同的圖像，輸出該光照相同的圖像，在光照分類模型的基礎上，使用Yale Face數據集訓練出的模型，完成對人臉光照圖像的光照匹配。