[發明專利]基于稠密人臉關鍵點的視頻換臉方法、系統、介質及設備

在審

• 申請號: 202110372505.0
• 申請日: 2021-04-07
• 公開（公告）號: CN113361320A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 馬衛民;成西鋒;袁德勝;楊祥如;游浩泉;林治強;黨毅飛;崔龍;李偉超;王海濤
• 申請（專利權）人: 匯納科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 徐秋平

本發明提供一種基于稠密人臉關鍵點的視頻換臉方法、系統、介質及設備，利用預設的人臉檢測模型對源人臉圖像和視頻中每一幀的目標人臉圖像進行人臉檢測，分別獲得對應的人臉框圖和關鍵點坐標，進而所述源人臉圖像的源圖臉；獲得人臉對齊的變換矩陣，依據所述變換矩陣將進行人臉替換，得到初始換臉圖；利用預設的人臉融合算法對所述初始換臉圖進行融合處理，并映射到所述視頻中對應幀的目標人臉圖像上，對所述視頻的每一幀進行人臉平滑作業以完成換臉。本發明的基于稠密人臉關鍵點的視頻換臉方法、系統、介質及設備，適用于在硬件配置較低情況下的視頻各個角色的人臉較高精度替換，并且易于落地部署，可適配不同攝像設備之間的差異。

技術領域

本發明涉及人臉檢測技術領域，特別是涉及一種基于稠密人臉關鍵點的視頻換臉方法、系統、介質及設備。

背景技術

隨著人工智能領域的發展，越來越多的人臉應用被大眾所發掘，其中AI換臉由于其廣泛的可應用性和趣味性成為了一個熱點方向，早期的換臉應用多是因為電影的藝術需要，使用專業視頻剪輯技術和特效技術實現人物角色替換等場景，現階段AI換臉的應用則更為廣泛，例如，部分美圖APP通過換臉實現不同樣貌的拍照；影視作品中通過換臉進行對應角色的演繹等等。

目前，主流的視頻換臉技術大多是基于深度學習的Deepface框架進行換臉，此方法存在如下一些問題：其一，依賴于大量的人臉訓練數據以及對設備的硬件要求較高，需要配備高頻的CPU處理器或者大內存的GPU處理器；其二，Deepface框架每次訓練特征提取器僅限于點對點的兩張人臉，在應用時缺少泛化性，沒法做到模型可以適用于各個不同人臉的替換。極大程度上影響了換臉功能在應用時可拓展性和廣泛性。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種基于稠密人臉關鍵點的視頻換臉方法、系統、介質及設備，用于解決現有技術中模型泛化性不足且成本高的問題。

為實現上述目的及其他相關目的，本發明提供一種基于稠密人臉關鍵點的視頻換臉方法，所述方法包括：利用預設的人臉檢測模型對源人臉圖像和視頻中每一幀的目標人臉圖像進行人臉檢測，分別獲得對應的人臉框圖和關鍵點坐標；利用所述源人臉圖像的關鍵點坐標在其對應的人臉框圖上進行三角剖分處理以得到人臉各部分的凸包，拼接各所述凸包以得到所述源人臉圖像的源圖臉；獲得人臉對齊的變換矩陣，依據所述變換矩陣將所述源圖臉對齊所述目標人臉圖像并進行替換，得到初始換臉圖；利用預設的人臉融合算法對所述初始換臉圖進行融合處理，并修正顏色映射到所述視頻中每一幀的目標人臉圖像上，對所述視頻的每一幀進行人臉平滑作業以完成換臉。

于本發明的一實施例中，對所述視頻進行取幀，并逐幀進行人臉檢測定位，得到所述目標人臉圖像的人臉框圖和關鍵點坐標。

于本發明的一實施例中，通過所述三角剖分法對所述源人臉圖像的關鍵點坐標進行分析，獲得覆蓋所述源人臉圖像不同區域的封閉三角形，然后扣取所有的三角形組成僅有面部信息的圖像以形成所述源圖臉。

于本發明的一實施例中，對所述源圖臉進行仿射變換，得到所述源人臉圖像關鍵點坐標與所述目標人臉圖像關鍵點坐標的對應關系，依據所述對應關系計算得到所述源圖臉與所述目標人臉圖像對齊的所述變換矩陣，進而通過像素覆蓋的方式進行人臉替換。

于本發明的一實施例中，所述預設的人臉檢測模型包括Dlib檢測模型和/或retinaface檢測器。

于本發明的一實施例中，所述預設的人臉融合法包括泊松融合和/或直方圖融合，其中，所述泊松融合通過對換臉后的人臉貼合圖構建泊松方程求解像素最優解，保留所述目標人臉圖像的原始圖像梯度，以實現人臉銜接處梯度域上的連續。

于本發明的一實施例中，更改所述源人臉圖像的顏色以匹配所述目標人臉圖像的顏色，以每個所述關鍵點坐標作為中心點，構建特定邊長的正方形區域并計算其高斯模糊值，分別得到所述源人臉圖像與所述目標人臉圖像各關鍵點的高斯模糊值及對應關鍵點的比值，將所述源人臉圖像的各點像素值與該點對應的所述比值進行相乘以完成所述修正顏色。