[發明專利]基于參考圖像的圖像眼睛自動打開方法及裝置

在審

• 申請號: 201910082777.X
• 申請日: 2019-01-28
• 公開（公告）號: CN109919018A
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 舒劍軍
• 申請（專利權）人: 浙江英索人工智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T3/00;G06T5/00
• 代理公司: 北京鼎承知識產權代理有限公司 11551
• 代理人: 王青偉

1.一種基于參考圖像的圖像眼睛自動打開方法，其特征在于，包括如下步驟：

1)收集包含參考圖像的面部圖像數據集；深度網絡不僅基于訓練集中的單一數據生成圖像，而且還借助相關面部圖像的另一張參考圖像指導生成器網絡生成圖像；

2)將輸入圖像中的眼睛區域擦除，聯合參考圖像輸入至生成器網絡，對圖像進行補全；計算補全后的圖像與真實圖像之間的內容/重構損失，通過反向傳播算法計算生成器網絡參數的梯度，優化生成器網絡；同時將補全后的圖像以及參考圖像分別輸入至感知損失計算網絡，用感知損失對生成器網絡的參數進行更新；最后用補全后的圖像、參考圖像計算鑒別器參數的梯度優化判別器網絡，并通過生成器網絡反向傳播鑒別器的誤差；

3)待損失下降到一定程度時，在所述測試數據集上，對網絡進行測試，選取最優的所述生成模型。

2.根據權利要求1所述的基于參考圖像的圖像眼睛自動打開方法，其特征在于，

當進行面部補全時，參考圖像是同一人在不同時間和不同姿勢下拍攝的頭像；所述面部圖像為人的面部圖像即人臉圖像，所述眼睛為人眼。

3.根據權利要求2所述的基于參考圖像的圖像眼睛自動打開方法，其特征在于，

采用輸入圖像以及參考圖像作為額外的條件變量，指導生成器網絡進行有條件約束的圖像生成，生成判別損失公式如下：

其中，L_cGAN(G，D)為生成判別損失，G表示生成器網絡，D表示判別器網絡，x為輸入圖像，z為參考圖像，p_data(x)，p_z(z)分別代表輸入圖像x的分布和參考圖像z的分布，即x服從p_data(x)分布，z服從p_z(z)分布；G()表示生成即補全眼睛后的圖像，D()表示判別真偽的結果；min_Gmax_D表示生成器網絡損失最小，而判別器網絡鑒別贗品即生成圖像的能力最大；E表示分布函數，log為對數函數；生成器網絡的目標是將生成對抗損失最小化，判別器網絡的目標是將其最大化。

4.根據權利要求2所述的基于參考圖像的圖像眼睛自動打開方法，其特征在于，

采用生成圖像和真實圖像間的L1損失計算作為內容損失，用L_L1表示，計算公式如下：

其中p_data(x)，p_z(z)和p_data(y)分別代表輸入圖像x的分布，參考圖像z的分布，以及目標圖像y的分布，p_data(x，y)代表輸入圖像x和目標圖像y的分布，即x、y服從p_data(x，y)分布，z服從p_z(z)分布；y為目標圖像；G()表示生成即補全眼睛后的圖像；|| ||₁表示1范數。

5.根據權利要求2所述的基于參考圖像的圖像眼睛自動打開方法，其特征在于，

采用訓練好的VGG-16網絡計算感知損失，每次訓練中隨機選取三層從補全圖像和參考圖像抽取出來的特征矩陣，計算每個特征矩陣之間的L1距離，且累加三組特征的損失作為感知損失；感知損失計算公式如下所示：

L_perceptual表示感知損失；其中p_data(x)，p_z(z)分別代表輸入圖像x的分布，參考圖像z的分布，即x服從p_data(x)分布，z服從p_z(z)分布；G()表示生成即補全眼睛后的圖像；|| ||₁表示1范數，φ_i()表示感知網絡第i層上的特征表示。