[發明專利]一種基于人臉追蹤的實時人臉融合方法

有效

• 申請號: 201711462802.4
• 申請日: 2017-12-28
• 公開（公告）號: CN108197555B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 秦昊;盧奕渲;李冬平
• 申請（專利權）人: 杭州相芯科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于人臉追蹤的實時人臉融合方法，包括以下步驟：

預處理階段：生成基準正臉圖像的人臉貼圖，擬合所述人臉貼圖的三角網格后，確定所述三角網格上頂點與密集輪廓點之間的關系，并基于所述密集輪廓點生成蒙版圖和透明通道圖，生成待融合正臉圖像的人臉貼圖，利用所述蒙版圖和透明通道圖對待融合正臉圖像的人臉貼圖處理；

所述基于所述輪廓點生成蒙版圖和透明通道圖包括：

將密集輪廓點所圍成的區域均勻向外擴大到原來的1.01～1.1倍，白色填充擴大后的區域，得到蒙版圖；

將密集輪廓點所圍成的區域均勻向內縮小到原來的0.90～0.99倍，白色填充縮小后的區域后，高斯模糊所述縮小后的區域，得到透明通道圖；

人臉融合階段：根據所述頂點與密集輪廓點之間的關系和處理后的人臉貼圖，實時計算視頻幀中人臉的融合人臉貼圖，再根據所述融合人臉貼圖與融合人臉網格模型，實時繪制人臉。

2.如權利要求1所述的基于人臉追蹤的實時人臉融合方法，其特征在于，所述生成基準正臉圖像的人臉貼圖包括：

采用人臉追蹤與識別方法對基準正臉圖像進行識別，獲得人臉網格模型、攝像機矩陣、投影矩陣，并根據所述攝像機矩陣和投影矩陣將所述人臉網格模型投影到圖像空間；

將圖像空間上三角形內像素映射到紋理空間上三角形內的像素，生成人臉貼圖。

3.如權利要求1所述的基于人臉追蹤的實時人臉融合方法，其特征在于，所述擬合所述人臉貼圖的三角網格包括：

輸入連線構成凸多邊形的稀疏輪廓點；

在相鄰兩個稀疏輪廓點之間按一定距離進行插值，得到密集輪廓點；

使用Constrained Delaunay Triangulations方法，并加入相鄰兩個密集的輪廓點之間有邊的約束，擬合三角網格。

4.如權利要求1所述的基于人臉追蹤的實時人臉融合方法，其特征在于，所述確定所述三角網格上頂點與密集輪廓點之間的關系包括：

對于三角網格上的每個頂點，在密集輪廓點上進行分層次采樣，并根據采樣結果，計算頂點與采樣結果的連接關系，以確定所述三角網格上頂點與密集輪廓點之間的關系。

5.如權利要求1所述的基于人臉追蹤的實時人臉融合方法，其特征在于，所述根據所述頂點與密集輪廓點之間的關系和處理后的人臉貼圖，實時計算視頻幀中人臉的融合人臉貼圖包括：

(a)采用人臉追蹤與識別方法對視頻幀進行識別，得到視頻幀中人臉的人臉網格模型，將該人臉網格模型投影到圖像空間后，計算得到視頻幀上的密集輪廓點；

(b)準備頂點著色器的頂點緩存，所述頂點緩存還包含紋理貼圖上密集輪廓點坐標和視頻幀上的密集輪廓點坐標，并繪制所述頂點緩存，得到所述視頻幀上和紋理貼圖上密集輪廓點像素顏色差的紋理；

(c)存儲所述三角網格上頂點與密集輪廓點之間的關系至紋理中；

(d)準備頂點著色器的頂點緩存，頂點緩存中的數據為預處理階段擬合的三角網格，每個頂點包括頂點在空間上的坐標、頂點序號、頂點的輪廓點采樣數；

(e)繪制所述頂點緩存，得到視頻幀中人臉的融合人臉貼圖。

6.如權利要求5所述的基于人臉追蹤的實時人臉融合方法，其特征在于，所述將該人臉網格模型投影到圖像空間后，計算得到視頻幀上的密集輪廓點包括：

根據稀疏輪廓點在人臉網格模型上的頂點索引，得到視頻幀中稀疏輪廓點的三維坐標，并將所述三維坐標投影到圖像空間，得到視頻幀中稀疏輪廓點的二維坐標；

根據預處理階段相鄰兩個稀輪廓點之間插值點的個數，對視頻幀中稀疏輪廓點的二維坐標進行插值，得到與預處理階段得到的密集輪廓點數目相同的密集輪廓點。