[發明專利]基于卷積神經網絡的人臉情感顏色遷移方法

在審

• 申請號: 201811638079.5
• 申請日: 2018-12-29
• 公開（公告）號: CN109785227A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 劉世光;裴敏
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于卷積神經網絡的人臉情感顏色遷移方法，其特征是，步驟如下：

步驟1、實現目標圖像即參考圖像的處理，具體包括以下處理：

通過三個卷積層，兩個池化層，四個激活層，兩個dropout層，dropout是在訓練神經網絡模型時，樣本數據過少，防止過擬合而采用的網絡層，兩個全連接層和最終分類層對目標圖像的情感信息進行分析，將人臉情感數據庫隨機按照8：2比例分為訓練集和測試集，然后利用情感分類網絡訓練情感模型；此外，輸出節點的數量變為7，在預測階段，所有情緒類別的概率被歸一化；

步驟2、實現對源圖像的處理，具體包括以下處理：

首先利用底層網絡中的10個卷積層和3個池化層來獲得圖像的低層特征，之后使用高級特征網絡將低級特征和全局特征組合在一起，使得這層包含具有中間水平高級特征的256維向量，利用高級特征網絡約束源圖像的顏色，該層用于將全局特征合并到局部特征中，將融合層在局部特征坐標(μ,υ)處的輸出表示為：

y^g是人臉情感分類特征，是坐標(μ,υ)處的特征，W是權重矩陣，b是偏移向量。W和b是在網絡訓練中學習的參數，σ是Sigmoid函數；

步驟3、進行情感顏色遷移，具體包括以下處理：

獲得融合之后的特征，通過卷積層和反卷積對特征的維度進行增大，每個卷積層輸出是維度不變的特征，而反卷積輸出的是原來兩倍的高和寬，這些層交替連接，直到輸出和輸入相同的尺寸結束，而這時特征層轉化為三通道的圖像。

2.如權利要求1所述的基于卷積神經網絡的人臉情感顏色遷移方法，其特征是，情感模型訓練，具體包括以下處理：首先使用Emotion6數據庫對1980張圖像進行訓練，得到情感模型，在上一步獲得分類網絡的情感標簽之后，找到與標簽一致的情感模型，最后獲得情感遷移結果。

3.如權利要求1所述的基于卷積神經網絡的人臉情感顏色遷移方法，其特征是，步驟2實現對源圖像的處理進一步具體地：首先使用10個卷積層和3個池化層來獲得圖像的低層特征。在網絡中使用高斯卷積來濾波圖像，獲得共享的低層特征來服務高級網絡和情感顏色遷移網絡。之后使用平均池化層方法來平滑圖像，在每個卷積層中添加了填充，使得圖像不會因為卷積操作而減少尺寸，使用的是3*3的高斯卷積核和1*1的填充來保證輸出輸出層和輸入層尺寸一致，接下來使用高級特征網絡，使得這層包含具有中間水平中級特征的256維向量。該層用于將全局特征合并到局部特征中，將局部特征與該特征空間所有坐標下的全局特征連接在一起，獲得以中間特征維度的新特征映射。

4.如權利要求1所述的基于卷積神經網絡的人臉情感顏色遷移方法，其特征是，步驟3進行情感顏色遷移進一步具體地：

層交替連接，直到輸出和輸入相同的尺寸結束，而這時特征層轉化為三通道的圖像，在輸出圖像之前通過Sigmoid傳遞函數對特征做最后一步處理；

在網絡BP(Back Propagation)階段，在顏色遷移層使用均方誤差標準，在高級特征層使用交叉熵損失，網絡的全局損失LOSS變為：

L(y^color,y^class)＝L(y^color)+ηL(y^fus)

其中，L(y^color)是顏色遷移層的損失值，L(y^fus)是分類網的損失值，η是權衡兩者之間的系數；

之后，將訓練的特定情感的網絡模型與圖像分類標簽進行匹配，輸入圖像作為網絡的輸入層傳遞到網絡中，然后通過網絡模型將輸入圖像轉換成特定的情感，在該部分的網絡結構中，“Crop”層是最終的輸出層，其可以確保輸出圖像的尺寸與相應的輸入圖像相同，獲取“Crop”圖層的輸出數據后，進一步獲得相應的結果圖像。