[發明專利]基于卷積神經網絡的人臉情感顏色遷移方法

在審

• 申請號: 201811638079.5
• 申請日: 2018-12-29
• 公開（公告）號: CN109785227A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 劉世光;裴敏
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發明屬于圖像處理領域，為實現通過調整顏色分布將源圖像的情感改變為目標圖像的情感，本發明，基于卷積神經網絡的人臉情感顏色遷移方法，步驟如下：步驟1、實現目標圖像即參考圖像的處理；步驟2、實現對源圖像的處理；步驟3、進行情感顏色遷移，具體包括以下處理：獲得融合之后的特征，通過卷積層和反卷積對特征的維度進行增大，每個卷積層輸出是維度不變的特征，而反卷積輸出的是原來兩倍的高和寬，這些層交替連接，直到輸出和輸入相同的尺寸結束，而這時特征層轉化為三通道的圖像。本發明主要應用于圖像處理場合。

技術領域

本發明屬于圖像處理領域，涉及人臉表情分類、情感顏色遷移以及卷積神經網絡，能夠實現對帶有人臉特征的目標圖像進行情感遷移。

背景技術

生活中，人們喜歡用顏色來傳達自己的情感。對于藝術家來說，通過不同的色彩能創造出代表不同情感的作品。然而現在的一些圖像處理軟件，比如Photoshop，難以實現圖像的情感編輯。目前在圖像處理方面，圖像顏色遷移方法非常廣泛[1-5]，這些方法一般通過處理圖像的顏色來達到某種編輯效果，但是大沒有情感因素。情感顏色遷移旨在通過調整顏色分布將源圖像的情感改變為目標圖像的情感。這可以減少藝術家所花費的時間，并且幫助藝術家創作更符合人們情感的作品。目前情感顏色遷移方法主要分為傳統方法和機器學習方法。

傳統的方法主要通過顏色組合的方式進行顏色遷移。Yang和Peng[6]首次使用直方圖匹配來進行情感顏色遷移，以保持圖像顏色之間的空間一致性。在這項工作中，他們使用動態顏色組合模板映射顏色和情感。此外，Yang和Peng采用24種情感，每種情感包含32種五色組合，48種三色組合和24種雙色組合。Wang等人[7]提出了一種可以通過提供有效的情感詞來自動調整輸入圖像到所需的情感的方法。該方法減少了用戶操作，可以防止由于不專業的操作造成的失真現象。He等人[8]提出了一種基于色彩組合的情感顏色遷移框架。Ryoo[9]提出了一種基于面部特征的情感顏色遷移方法，它將機器學習與圖像情感顏色遷移相結合。Peng等人[10]提出了一種新的情感顏色遷移框架。該框架使用Emotion6數據庫來模擬情感分布。然而，該方法考慮了圖像的顏色信息，沒有考慮到圖像的高級表情特征。當目標圖像包含面部表情特征時，如果面部特征所表達的情感與顏色情感不一致，會使得結果圖像的情感與源圖像不一致。

綜上所述，現有的這些算法對圖像的情感分析并不準確，這樣會導致情感遷移結果不準確。傳統的圖像情感顏色遷移方法雖然考慮了圖像的語義信息，但是沒有涉及人臉圖像中的人臉特征，這樣必然會出現反自然現象。現有的圖像情感顏色遷移方法對圖像與情感的關聯性考慮的較為充分，但是所考慮的特征都是低級視覺特征。并且這種低級視覺特征與情感的關聯性很弱。圖像的情感很大程度上與圖像的高級語義特征相關。對于圖像情感來說，關聯度密切的是圖像的高級語義。在高級語義方面，很多工作忽略了了人臉的表情特征。如果將一張人臉圖像的情感遷移到自然風景圖片，遷移結果會出現失真現象。因此，目標圖像的人臉表情特征也會影響圖像的遷移效果，對目標人臉圖像的情感分析是非常重要的。

參考文獻：

[1]劉世光,翔張,紀建成.數字照片的局部顏色遷移方法:CN,CN 101561927A[P].2009.

[2]舒振宇,辛士慶,陳雙敏,等.一種基于權值優化的最優傳輸圖像顏色遷移方法:CN,CN107909561A[P].2018.

[3]金正猛,趙敏鈞,郭少健,等.一種基于顏色轉移和修正的圖像著色方法:CN,CN105761292A[P].2016.

[4]梁湘國,蘇卓,李波,等.一種基于卷積神經網絡的灰階圖像著色方法及其裝置:CN,CN106855996A[P].2016.

[5]陳穎,高樂蓮,喬君,等.圖像編輯傳播方法和系統:CN,CN107886550A[P],2018.