[發(fā)明專利]基于深度耦合自編碼的人臉畫像合成方法

在審

• 申請?zhí)枺?/td>: 201910429386.0
• 申請日: 2019-05-22
• 公開（公告）號: CN110175552A
• 公開（公告）日: 2019-08-27
• 發(fā)明（設計）人: 張銘津;吳芊芊;郭杰;李云松;劉凱
• 申請（專利權(quán)）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華

本發(fā)明公開了一種基于深度耦合自編碼的人臉畫像合成方法。主要解決現(xiàn)有技術(shù)在訓練數(shù)據(jù)不足時合成的人臉畫像缺失部分特定身份信息的問題。其實現(xiàn)方案是：分別訓練人臉照片耦合自編碼器、人臉畫像耦合自編碼器和由耦合自編碼器構(gòu)成的單層神經(jīng)網(wǎng)絡；用單層神經(jīng)網(wǎng)絡找到人臉照片和人臉畫像的非線性映射關(guān)系；將人臉照片放入訓練好的耦合自編碼器中生成具有特定信息的隱藏訓練照片塊；將測試照片候選塊集合用訓練照片塊和權(quán)重矩陣線性組合表示；由相似性假設得到人臉畫像候選塊集合；將人臉畫像候選塊集合中人臉組成部分融合形成人臉畫像。本發(fā)明可使合成的人臉畫像具有更多特定信息，且更加干凈和逼真，可用于數(shù)字娛樂中將人物照片轉(zhuǎn)化為人物畫像。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進一步涉及一種人臉畫像合成方法，可用于數(shù)字娛樂中將人物照片轉(zhuǎn)化為人物畫像。

背景技術(shù)

現(xiàn)如今科學技術(shù)越來越多地應用于我們的日常生活中。照片處理的軟件中可以對照片進行多種多樣的處理：加濾鏡、美顏、更換背景等等。這些通過一系列的數(shù)字圖片處理技術(shù)，例如人臉識別、平滑濾波等實現(xiàn)。在將人臉照片轉(zhuǎn)化為畫像圖片時，總會丟失一些類似于眼鏡、發(fā)卡等的細節(jié)元素。只有我們準備好充足的訓練數(shù)據(jù)，才能合成逼真的面部畫像。

針對上述問題，現(xiàn)有技術(shù)方法主要試圖用三種途徑來解決訓練數(shù)據(jù)不足的問題。首先且最優(yōu)的是基于局部線性嵌入LLE的方法，其次是基于加權(quán)馬爾可夫隨機場MRF的方法和基于貝葉斯的方法。這些方法都是通過線性組合產(chǎn)生僅存在于測試照片而不在訓練數(shù)據(jù)的塊。然而，一些具有特定身份信息的候選塊集合，例如耳環(huán)和發(fā)型，不能通過線性組合方法重建。只有通過非線性操作，才能合成新的令人滿意的候選塊集合。

除上述三種主要途徑外，還有以下兩種解決方法：一是基于單一畫像目標SST的方法將局部搜索區(qū)域擴展到全局以找到更多且類似的塊，但合成畫像的性能不令人滿意，并且如果沒有局部約束，鼻梁和發(fā)質(zhì)等信息可能會丟失；二是基于深度學習的方法，如基于生成對抗網(wǎng)絡GAN的方法和基于完全卷積網(wǎng)絡FCN的方法，該方法放棄了傳統(tǒng)的畫像與照片類似的低秩方法假設，雖說在一定程度上避免了訓練數(shù)據(jù)不足的問題，但是由于面部畫像和照片之間的紋理不同，直接從照片端到畫像端的深度學習模型是不合理的，導致合成畫像存在失真或噪聲。

Chang，Wang和Gao等人在文獻“Face sketch synthesis via sparserepresentation”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Aug.2010,pp.2146–2149、“Face sketch-photo synthesis under multi-dictionary sparserepresentation framework”in Proc.6^th Int.Conf.Image Graph.,Aug.2011,pp.82–87和“Semi-coupled dictionary learning with applications to image super-resolutionand photo sketch synthesis”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2012,pp.2216–2223等文章中假設照片和畫像的稀疏系數(shù)矩陣是相似的，并利用矩陣中不定數(shù)量的非零系數(shù)來自適應調(diào)整候選者的數(shù)量。該方法把人臉畫像合成分為兩個階段：在訓練階段，通過稀疏編碼來學習具有共同稀疏系數(shù)表示的畫像塊字典和照片塊字典。在測試階段，將測試照片分成塊，并將每個塊投影到照片詞典以得到實現(xiàn)照片稀疏表示系數(shù)，且為了生成畫像塊，首先由畫像稀疏表示矩陣加權(quán)得到畫像塊字典，然后將字典中的候選者進行組合生成畫像塊，最后，由生成的畫像塊融合形成畫像。此方法由于在局部搜索區(qū)域找不到足夠的候選者，故在選取進行人臉畫像合成照片時具有一定的局限性。