[發(fā)明專利]基于參考圖像的圖像眼睛自動打開方法及裝置

在審

• 申請?zhí)枺?/td>: 201910082777.X
• 申請日: 2019-01-28
• 公開（公告）號: CN109919018A
• 公開（公告）日: 2019-06-21
• 發(fā)明（設(shè)計）人: 舒劍軍
• 申請（專利權(quán)）人: 浙江英索人工智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T3/00;G06T5/00
• 代理公司: 北京鼎承知識產(chǎn)權(quán)代理有限公司 11551
• 代理人: 王青偉

一種基于參考圖像的圖像眼睛自動打開方法及裝置，通過深度網(wǎng)絡(luò)學(xué)習(xí)如何利用參考圖像作為語義信息，進(jìn)而輸出具有真實感的結(jié)果。包括：1)收集包含參考圖像的面部圖像數(shù)據(jù)集；所述深度網(wǎng)絡(luò)不僅基于訓(xùn)練集中的單一數(shù)據(jù)生成圖像，而且還借助相關(guān)面部圖像的其他參考圖像指導(dǎo)生成器網(wǎng)絡(luò)生成圖像；2)將輸入圖像中的眼睛區(qū)域擦除，聯(lián)合參考圖像輸入至生成器網(wǎng)絡(luò)，對圖像進(jìn)行補全；計算補全后的圖像與真實圖像之間的內(nèi)容/重構(gòu)損失，優(yōu)化生成器網(wǎng)絡(luò)；同時將補全后的圖像以及參考圖像分別輸入至感知損失計算網(wǎng)絡(luò)，用感知損失對生成器網(wǎng)絡(luò)的參數(shù)進(jìn)行更新；最后用補全后的圖像、參考圖像計算鑒別器參數(shù)的梯度優(yōu)化判別器網(wǎng)絡(luò)；3)待損失下降到一定程度時，在測試數(shù)據(jù)集上對網(wǎng)絡(luò)進(jìn)行測試；通過評價指標(biāo)選取最優(yōu)的生成模型。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺、圖像處理領(lǐng)域，特別涉及一種基于參考圖像的圖像眼睛自動打開方法及裝置。

背景技術(shù)

隨著模式識別、機器學(xué)習(xí)技術(shù)的發(fā)展和計算機運算能力的飛速提升，人們對圖像的修飾和美化要求日益提高，追求更加完美自然的圖像，尤其是臉部的照片美化效果。然而在日常生活中，拍照時眨眼經(jīng)常會影響圖像的效果。且眨眼造成的閉眼或者半閉眼的情形很難在后期的圖像處理中進(jìn)行調(diào)整。現(xiàn)有的修圖工具諸如Adobe Photoshop等，即使是專業(yè)人員使用這些工具也很難做到讓圖像中的眼睛自然睜開，普通使用者面對閉眼照片幾乎是無計可施，盡管所述圖像的其他諸如構(gòu)圖、色彩、場景等方面都非常完美，也會因為閉眼而被棄用或刪除。由于拍照時，被拍者經(jīng)常會出現(xiàn)眨眼狀況，或者，有時受環(huán)境、光線等限制導(dǎo)致被拍者不能正常睜大眼睛，影響被拍者的表情，不能拍出令人滿意的照片。如果能夠提供一種自動打開圖像中眼睛的方法，使得普通使用者也能拍出完美的睜開眼睛的圖像，而不受環(huán)境、光線等因素的限制，將是非常有意義的。

而要在照片中打開閉眼，如果僅僅是在相似的姿勢和燈光條件照出受試者的新照片，并用圖像塊匹配和紋理融合產(chǎn)生最終結(jié)果。則沒有充分利用圖像中的語義或結(jié)構(gòu)信息，比如全局光照或者主體的姿態(tài)，從而導(dǎo)致光照的微小變化以及不一致的注視方向會產(chǎn)生不可思議的合成結(jié)果。

除了經(jīng)典的計算機視覺技術(shù)，最近的研究一直專注于使用深度卷積網(wǎng)絡(luò)進(jìn)行各種面部變換。其中，生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)在人臉方面的應(yīng)用是多種多樣的。許多GAN能夠從單一的低維向量生成具有真實感的人臉圖像。深度網(wǎng)絡(luò)通過訓(xùn)練，將低維噪聲向量的每個元素對應(yīng)到特定的臉部屬性。圖像補全在深度網(wǎng)絡(luò)以及傳統(tǒng)方法中有著廣泛的研究和應(yīng)用。原始的圖像補全通過迭代算法，將圖像分解成結(jié)構(gòu)和紋理組件，結(jié)合補全和紋理合成來重建缺失區(qū)域。這種技術(shù)已經(jīng)被用來去除圖像中的大物體。但是，這些傳統(tǒng)修復(fù)方法都不能解決面部圖像中眼睛開閉這樣結(jié)構(gòu)復(fù)雜的修復(fù)問題。

如果采用塊匹配和泊松融合實現(xiàn)面部修改，如面部美化、屬性轉(zhuǎn)化、面部正面化或合成化妝等，則實現(xiàn)效果并不理想。人們對面部結(jié)構(gòu)中的小錯誤是非常敏感的，特別是對于每個人自己的臉，這一點在采用采用塊匹配和泊松融合修改面部特征的時候很難被克服。人們更希望得到的補全圖像是具有真實感的、自然的、“自己”的睜眼圖像，而不是看起來像“別人”的、不自然的圖像，即不僅需要“開眼”，而且需要具有真實感地自然“開眼”。

發(fā)明內(nèi)容

本發(fā)明為解決上述技術(shù)問題，提出了一種基于參考圖像的圖像眼睛自動打開方法及裝置。本發(fā)明的技術(shù)方案能夠讓閉眼、半閉眼或模糊圖像完美“開眼”，所述方法不僅能夠解讀圖像中的眼睛看的角度和姿勢是什么，還能夠解讀所述眼睛的結(jié)構(gòu)、顏色和紋理等信息。最終補全的結(jié)果逼真而自然。

本發(fā)明所述的一種基于參考圖像的圖像眼睛自動打開方法及裝置，通過參考已有的面部圖像樣本，用來對處于閉眼狀態(tài)的面部圖像進(jìn)行眼部修復(fù)，使得處于閉眼狀態(tài)的面部圖像的眼睛睜開，且補全后的圖像呈現(xiàn)的效果真實自然。

根據(jù)本發(fā)明的一個方面，提供了一種基于參考圖像的圖像眼睛自動打開方法，包括如下步驟：