[發明專利]一種基于變分自編碼器的表情序列自動生成方法

在審

• 申請號: 202110776663.2
• 申請日: 2021-07-09
• 公開（公告）號: CN113505829A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 商琳;張明月
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

本發明提供了一種基于變分自編碼器的表情序列自動生成方法，包括：(1)在大規模人臉數據集上預訓練變分自編碼器，使變分自編碼器初步具備生成人臉圖片的功能。(2)對表情變化序列等間隔取三元組，獲取表情連續變化的三元組。(3)利用深度度量學習方法，用三元組的三元損失自監督訓練變分自編碼器。(4)經過上述步驟，變分自編碼具備細粒度的特點，能感知面部表情強度，因此對編碼器生成的向量進行插值再解碼，即可得到一個完整的表情變化序列。

技術領域

本發明涉及一種基于變分自編碼器的表情序列自動生成方法。

背景技術

VAE作為生成模型的一種，可以用于表情序列生成，用兩張表情圖片通過潛變量插值生成表情變化的連續序列，補全整個變化過程。傳統的VAE采用無監督學習方法將復雜的數據映射到一個低維空間中，忽略了數據中顯著的特征。而對于表情數據來說，最顯著的特征就是表情類別和強度。故而用傳統的VAE進行表情序列的生成任務時，由于其不具備對表情強度的感知能力，生成的表情序列連續性較差，對于幅度小的表情無法生成自然的表情變化過程。

深度度量學習通過數據學習一個從原始數據空間到高維歐氏空間的映射，這個映射的目標就是同類數據在這個空間中距離較近，異類數據在這個空間中距離較遠。損失函數在深度度量學習中起到了非常大的作用，其中基于三元組的三元損失是常用的損失函數。

變分自編碼器是一類生成模型，其結構與自編碼器類似，也是由編碼器和解碼器構成的。編碼器將數據的高級特征映射到低級表征(潛在向量)，而解碼器將數據從低級表征解碼回對應的高級表征。不同之處在于自編碼器只是簡單地進行數據的映射和重建，只具備“記憶”功能，不能通過構建潛在變量使解碼器生成新的但是符合原始數據分布的數據。變分自編碼器在網絡中添加一個約束條件——強制潛在向量的分布符合高斯分布，從而通過構建潛在向量利用解碼器生成新的數據。

發明內容

發明目的：本發明的目的在于提出一種將深度度量學習和變分自編碼器相結合的方法，增強變分自編碼器對表情強度的感知能力，從而生成表情序列。單純的變分自編碼器很難學到關于表情的細粒度特征，本發明希望實現一個具備表情強度感知能力的變分自編碼器，模型除了重建損失和相對熵損失之外，還生成了表情三元組引入了三元損失以自監督訓練變分自編碼器，使其不僅能感知面部表情，還能感知面部表情強度。

發明步驟：本算法的步驟主要分為三大部分：1)預訓練變分自編碼器VAE；2)生成三元組；3)自監督訓練VAE；4)生成表情序列。具體的步驟如下：

步驟1，預訓練變分自編碼器VAE：通過在大規模人臉數據集celebA上預訓練，平衡重建損失L_recon和相對熵損失L_KL的權重，使VAE具有隨機生成人臉圖像的作用；

步驟2，生成三元組：使用Oulu-CASIA數據集，對Oulu-CASIA數據集中的每一個視頻序列進行采樣，生成等間隔的三幀圖片，每三幀構成一個三元組；

步驟3，自監督訓練變分自編碼器VAE：使用深度度量學習方法，利用三元組中隱含的表情距離信息，用三元損失自監督訓練變分自編碼器VAE；

步驟4，生成表情序列：對兩張同一人的表情圖片分別通過變分自編碼器VAE的編碼器encoder得到各自的嵌入向量embedding，對兩個嵌入向量embedding進行線性插值，然后通過解碼器decoder對插值得到的嵌入向量embedding進行解碼得到整個表情變化序列。

步驟1包括以下步驟：

步驟1-1，變分自編碼器VAE通過編碼器encoder將圖片x編碼為一個潛向量然后通過解碼器decoder將潛向量z解碼為圖片其中θ分別是編碼器和解碼器網絡的參數，設置z的維度為100；表示通過可參數化的一簇分布來近似z的后驗分布，p_θ(x|z)表示通過可參數化的一簇分布來近似x的分布；