[發明專利]基于深度概率圖模型的人臉畫像合成方法

在審

• 申請號: 201910439266.9
• 申請日: 2019-05-24
• 公開（公告）號: CN110188651A
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 張銘津;吳芊芊;劉凱;郭杰;李云松
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T5/50;G06T11/00
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

本發明公開了一種基于深度概率圖模型的人臉畫像合成方法。主要解決現有技術無法合成同時具有清晰輪廓和特征的人臉畫像的問題。其實現步驟是：1)利用引入馬爾可夫隨機場的神經網絡學習人臉照片?畫像像素非線性關系；2)將測試照片輸入到建立的非線性關系中，得到具有測試照片的特定身份信息的畫像像素集合；3)將測試照片塊和畫像像素集合輸入到基于貝葉斯理論的深度概率圖模型中，得到人臉畫像塊；4)將人臉畫像塊進行拼接融合得到合成人臉畫像。本發明與現有方法相比，合成的人臉畫像在保留人臉的共同結構的同時捕捉到人臉特征，在定量和定性實驗評估方面都取得了更好的結果，可用于數字娛樂。

技術領域

本發明屬于圖像處理技術領域，更進一步涉及一種人臉畫像合成方法，可用于數字娛樂。

背景技術

隨著科學技術的發展，自拍軟件的使用量大幅增加，據統計在過去的12個月中就增加了接近170倍。這些自拍中相當一部分由人臉畫像合成技術進行進一步的處理。在人臉畫像合成技術的幫助下，用戶通過合成具有特定身份信息的生動畫像在社交媒體網站里展示自己。與此同時，用戶不想給他們的朋友和家人留下怪異的印象，即合成的畫像除了能體現個人特色還應該保留男士或者女士的共同結構。因此，在數字娛樂中，人們期望利用特定的身份信息和人臉的共同信息來合成畫像。然而，現有的方法無法合成具有特定和共同結構的精致人臉畫像。

現有的人臉畫像合成方法可以分為兩類：基于淺層學習的方法和基于深度學習的方法。基于淺層學習的方法進行人臉畫像合成通常假設人臉照片和畫像共享一個共同的人臉結構并學習訓練照片和測試照片之間的關系，然后應用于畫像合成。這類合成方法可以進一步分為三類：基于子空間學習的方法、基于貝葉斯推理的方法和基于稀疏表示的方法。基于深度學習的方法以端到端的方式學習人臉照片和畫像之間的映射關系，在并行計算的幫助下，可以通過前向過程合成人臉畫像，從而實現快速人臉畫像合成。

Song等人在文獻“Y.Song,L.Bao,Q.Yang,and M.H.Yang.Real-time exemplar-based face sketch synthesis.In Proc.Eur.Conf.Comput.Vis.,pages 800–813,2014.”中提出替換塊從而減少一些合成人臉畫像的噪音。雖然這個改進可能有助于緩解嚴格相似性假設的壓力，但它們無法阻止特定身份信息的丟失。

Zhang等人在文獻“L.Zhang,L.Lin,X.Wu,S.Ding,and L.Zhang.End-to endphoto-sketch generation via fully convolutional representation learning.arXivPreprint:1508.06576,2017”提出全卷積網絡FCN在一定程度上改善合成人臉畫像的性能，但合成的畫像存在模糊和噪聲。原因在于基于FCN的方法僅由大量卷積層堆疊，并且很難直接對異構圖像——人臉照片和畫像之間的映射關系建立較好的模型，進而合成具有較好人臉輪廓的畫像。

發明內容

本發明的目的在于克服上述現有方法的不足，提出一種基于深度概率圖模型的人臉畫像合成方法，以提高合成人臉畫像的質量。

實現本發明目的的技術方案包括如下步驟：

(1)構建人臉照片集合和人臉畫像像素集合之間的映射關系：

(1a)根據無向圖形式的結構，用訓練照片集合X學習畫像像素集合Z的條件概率：

其中，Ω為勢函數，其由神經函數f_c和相鄰函數g_c組成；設α_c和β_c分別是神經函數f_c和相鄰函數g_c的參數，設θ_c是神經函數f_c中的權重向量；