[發明專利]一種面向人臉重演中表情分離任務的弱標注學習方法

在審

• 申請號: 202210853247.2
• 申請日: 2022-07-08
• 公開（公告）號: CN115424310A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 程塨;孫緒祥;仝慧紫;蔡曉妍;韓軍偉;郭雷
• 申請（專利權）人: 西北工業大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 趙革革

1.一種面向人臉重演中表情分離任務的弱標注學習方法，其特征在于步驟如下：

步驟1、構建并訓練面部重構網絡：由一個面部編碼器和一個面部解碼器串聯而成，其中：面部編碼器的網絡結構由4個下采樣模塊和4個殘差塊串接為以E_face，面部解碼器由4個上采樣模塊連接構成為D_face；

訓練方式如下：將任意一張圖片I輸入面部編碼器得到編碼的面部特征，再將面部特征輸入面部解碼器得到I的重構圖片I_rec，對I和I_rec做L₁度量，并以此作為損失函數對面部網絡進行訓練；

使用一個多尺度的PatchGAN判別器D₁與面部重構網絡進行對抗訓練，用于評定生成圖像的真實性，網絡結構如下：首先連接2個下采樣模塊，然后分三個分支，第一個分支繼續連接一個全局自適應最大池化層和一個全連接層為輸出一個標量，第二個分支連接兩個下采樣模塊和一個用于調整通道數的卷積模塊為輸出尺度為1×30×30，第三個分支連接4個下采樣模塊和一個用于調整通道數的卷積模塊為輸出尺度為1×6×6；訓練判別器D₁時，分別輸入生成圖像和真實圖像，對得到的三個尺度的輸出特征分別計算損失后相加，優化函數如下：

其中，i表示判別器D₁的第i個分支，表示對其輸入求數學期望，log(·)表示對其輸入求以10為底的對數；

訓練面部重構網絡的總損失函數為：

其中，是判別器提供的對抗損失，用于衡量面部網絡重構圖像的質量；

是I和I_rec之間的L₁損失；

其中，||·||₁表示L₁距離；

步驟2、構建并訓練身份編碼器：由4個下采樣模塊和4個殘差塊連接組成為E_id，具有雙生網絡結構；

對身份匹配器E_id進行訓練：將一組圖像I₁和I₂分別輸入身份編碼器，得到對應的身份編碼向量z₁和z₂，計算z₁和z₂之間的L₂距離；當I₁和I₂來自同一個身份時，它們之間距離越小越好；當I₁和I₂來自不同身份時，它們之間距離越大越好；

訓練身份編碼器的損失函數為：

其中，||·||₂表示L₂距離；max{·,·}²表示取兩者較大值的平方；N表示批處理大小；Y為兩個樣本是否匹配的標簽，Y＝0表示I₁和I₂來自不同身份，Y＝1表示I₁和I₂來自同一個身份；m＝1為設定的閾值；

步驟3、構建面向人臉重演中表情分離任務的弱標注學習框架：包括步驟1中的面部重構網絡，一個身份編碼器，一個運動特征提取器和一個AdaAttN模塊；

所述運動特征提取器由四個下采樣模塊串聯組成；

所述AdaAttN模塊是一個注意力模塊，用于融合源圖像的身份信息與驅動圖像的面部運動特征；

步驟4、訓練面向人臉重演中表情分離任務的弱標注學習框架：訓練過程中需要訓練額外兩個判別器，分別為圖像質量判別器為D₂和身份判別器為D₃；

所述圖像質量判別器使用與步驟1的判別器D₁具有相同架構的多尺度判別器，用于評定生成圖像的真實性；

所述身份判別器采用雙生的ResNeXt50結構，用于判斷輸入的真實人臉和生成人臉是否具有相同的身份；

在訓練整體網絡時，對步驟1和步驟2預訓練好的面部網絡和身份編碼器進行微調；采用自監督的訓練方式，即在訓練階段，驅動圖像和源圖像是來自同一個視頻的不同幀，驅動圖像作為重演圖像的真值；以生成對抗網絡經典的交替訓練的方式端到端地訓練整個網絡；

訓練圖像質量判別器D₂，分別輸入生成圖像和源圖像，對得到的三個尺度的輸出特征分別計算損失后相加得到最終損失，優化函數如下：

其中，i表示判別器D₂的第i個分支；

對于身份判別器D₃，其訓練的優化函數如下：

其中，m＝1為設定的閾值，I_ss表示與源圖像I_s具有相同身份的圖片；

總體損失函數為：

其中，是圖像質量判別器D₂提供的對抗損失；

是身份判別器D₃提供的對抗損失；

是重演圖片與真值即即驅動圖像之間的L₁距離損失；

是重演圖片的面部特征與真值即即驅動圖像的面部特征之間的L₁距離損失；

是重演圖片的身份特征與真值即即驅動圖像的身份特征之間的L₁距離損失；

步驟5、完成人臉重演：對于任意一張驅動圖像和源圖像，使用步驟4訓練好的面向人臉重演中表情分離任務的弱標注學習框架生成重演圖片，由此，即完成人臉重演任務。