[發明專利]一種基于生成對抗網絡的漫畫人物身份識別方法

有效

• 申請號: 201911399669.1
• 申請日: 2019-12-30
• 公開（公告）號: CN111160264B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 賴劍煌;程海杰
• 申請（專利權）人: 中山大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06F16/58;G06N3/08;G06V10/82
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 劉巧霞

1.一種基于生成對抗網絡的漫畫人物身份識別方法，其特征在于，包括步驟：

步驟S1：獲取真實行人和漫畫行人圖片，建立包含真實行人的檢索庫和包含漫畫行人的查詢庫；

步驟S2：構建人臉檢測對齊模型，對檢索庫和查詢庫中的圖片進行人臉檢測對齊；

步驟S3：構建漫畫生成模型，將真實行人和人臉轉換成對應的漫畫圖片；

步驟S3中構建漫畫生成模型，將真實行人和人臉轉換成對應的漫畫圖片，步驟是：

步驟S31：將成對原始真實人臉圖片x、漫畫人臉圖片y，及其對應關鍵點送入生成網絡G中，G分為三個支路，分別為風格編碼、內容編碼和關鍵點檢測；接著利用編碼的風格E_S對編碼的內容E_C進行紋理渲染記為R，為了防止風格渲染后的圖片丟失語義信息，在此增加一個身份重構損失L_idr＝E[||R(E_C(x)，E_S(x))-x||₁],x為原始真實人臉圖片，E[·]表示取一個訓練批次中所有訓練樣本計算值的期望值；而后利用定位的關鍵點K與偏移量ΔK對渲染后的圖片進行面部變形，記為W，得到生成的漫畫圖片W(R(E_C(x),E_S(x)),K,ΔK)；

步驟S32：將生成的漫畫圖片送入到判別網絡D中，通過損失函數對其進行約束訓練，最終得到漫畫生成模型；

所述步驟S31中，關鍵點K是利用MTCNN方法對人臉圖像進行檢測，并將檢測的左眼K₁、右眼K₂、鼻子K₃、嘴左K₄、嘴右K₅五個關鍵點坐標進行保存；面部變形是通過網絡學習一組偏移量ΔK＝ΔK1，ΔK2,…，ΔKn，n為關鍵點的數目5，然后通過薄板樣條插值對網格進行采樣，從而生成具有多種風格且適合人特征夸大的漫畫圖片；

所述步驟S32中，通過三個損失函數對判別網絡D進行約束，分別為對抗損失L_adv、身份一致性損失L_idc和漫畫風格一致性損失L_csc，其中，對抗損失為：L_adv＝E[-logD(G(x,E_S))]+E[-logD(y)]；身份一致性損失為：L_idc＝E[-logD(G(x,E_S(x)),l)]+E[-logD(y,l)]，l為x對應的真實標簽；漫畫風格一致性損失為：L_csc＝E||MTCNN(G(x,E_S))-k||₁，k為y對應的關鍵點；

步驟S4：構建漫畫人物身份識別模型，提取檢索庫和查詢庫中圖片的融合特征，計算漫畫行人和真實行人融合特征間的相似度分數；步驟S4中構建漫畫人物身份識別模型，提取檢索庫和查詢庫中圖片的融合特征，步驟是：

步驟S41：利用步驟S2中訓練好的人臉檢測對齊模型對用于訓練和測試人物身份識別模型的數據進行預處理，得到對應的真實人臉和漫畫人臉圖片；

步驟S42：利用步驟S3中訓練好的漫畫生成模型將訓練和測試數據中的真實人臉和行人轉換成對應的漫畫圖片；

步驟S43：在訓練階段，將真實行人圖片、真實人臉圖片、漫畫行人圖片和漫畫人臉圖片分別送入到參數不共享的主干網絡中去提取其各自的深度特征，而后分別將真實行人、人臉的深度特征和漫畫行人、人臉的深度特征進行拼接，得到真實圖片和漫畫圖片的融合特征；利用Softmax?Loss對真實行人圖片、真實人臉圖片、漫畫行人圖片和漫畫人臉圖片所對應的深度特征，以及真實圖片和漫畫圖片的融合特征進行身份約束；利用Triplet?Loss對真實圖片和漫畫圖片的融合特征進行相似度的約束；

步驟S44：在測試階段，利用訓練好的漫畫人物身份識別模型分別提取查詢庫中漫畫人臉和行人對應的融合特征、檢索庫中真實人臉和行人所生成的漫畫圖片對應的融合特征，而后計算查詢庫中融合特征與檢索庫中融合特征的相似度分數；

步驟S5：計算漫畫行人融合特征間的相似度分數，利用漫畫行人間的相似度分數對漫畫行人與真實行人間的相似度分數進行重排序，設定閾值獲取查詢庫中漫畫行人在檢索庫中所對應的真實行人。