[發明專利]基于條件生成對抗網絡的多監控視頻人臉合成正臉的方法

有效

• 申請號: 201810225929.2
• 申請日: 2018-03-19
• 公開（公告）號: CN108510061B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 賀前華;陳柱良;李黎晗
• 申請（專利權）人: 華南理工大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06V10/774;G06V40/16;G06V10/82
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 王東東

1.一種基于條件生成對抗網絡的多監控視頻人臉合成正臉的方法，其特征在于，包括如下步驟：

S1 采集監控視頻中的無約束偏轉角度人臉，并將同一個人的臉歸為一類，篩選出正臉，得到無約束偏轉角度人臉圖像數據集和正臉圖像數據集，并對每一個人的人臉圖像數據集進行標注；

S2 對每個人的正臉圖像數據集根據人臉關鍵點進行仿射變換實現人臉對齊,具體為：

對監控視頻中的圖像進行預處理，將無約束偏轉角度人臉圖像轉化為灰度圖，正臉圖像保持原來的RGB彩色圖像，使用雙線性插值算法對圖像進行放大，圖像放大后的尺寸為256x256像素，然后對每個人的正臉圖像數據集根據人臉關鍵點進行仿射變換實現人臉對齊；

S3 構建條件生成對抗網絡，所述條件生成對抗網絡包括用于生成正臉圖像的基于多輸入自動編碼器的生成器模型和用于評價合成圖像質量的基于局部感受野評分的卷積神經網絡判決器模型；

基于多輸入自動編碼器的生成器模型的編碼層由八個基于Conv-BatchNorm-LeakyRelu的子模塊構成；

局部感受野評分，是根據判決器模型最后一層的30x30維數據進行求平均值得到的，所述的局部感受野是判決器模型最后一層的每一維數據作為一個感受野，即局部感受野為1x1；

S4 采用對抗訓練的策略對生成器模型和卷積神經網絡判決器模型進行訓練，直到條件生成對抗網絡收斂穩定；

S5將N張同一監控視頻片段下捕捉到的無約束偏轉角度的人臉作為S4中已經訓練好的生成器的輸入，得到一張跟輸入人臉圖像同屬于一個人的正臉圖像；

所述卷積神經網絡判決器模型是將生成器模型合成的正臉和屬于同一個人的正臉分別與生成器的輸入人臉圖像構成兩個訓練樣本，分別作為卷積神經網絡判決器的輸入，根據這兩個訓練樣本得到兩個評價分，將兩個評價分求和為判別器輸出；

條件生成網絡的損失函數為：

生成器的損失：L_G=E[log(1-D(x,G(x,z))) ]+λE[||y-G(x,z) ||₁]

判決器的損失：L_D (D,G) =E [log(D (x,y)) ]+ E[log (1- D (x, G(x,z))]

總的損失也就是條件生成網絡的損失：

y指的是真實正臉圖像，G(x,z)指的是生成器合成的圖像，D (x,y)為判別器的損失，L_l1(G)= E[||y-G(x,z) ||₁]為條件變量，L為條件生成對抗網絡的總損失，λ是一個設置的參數，表示L_l1(G)損失的權重，選為100，生成器損失指來自于合成圖像-輸入圖像對的評價分，判決器的損失指判決器得到2個評價分的和，L表示總損失，包含L_l1(G)損失。

2.根據權利要求1所述的多監控視頻人臉合成正臉的方法，其特征在于，所述人臉對齊關鍵點包括眼睛、鼻子、嘴巴及輪廓，人臉對齊具體是正臉圖像的左眼和右眼位于同一水平線上。