[發明專利]一種基于全局光流和神經網絡的人臉五官矯正方法

在審

• 申請號: 202011626880.5
• 申請日: 2020-12-30
• 公開（公告）號: CN113076792A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 馬勇;王子越
• 申請（專利權）人: 無錫樂騏科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于全局光流和神經網絡的人臉矯正方法，其特征在于：包括以下步驟：

S1：獲取待處理人臉圖像，解析出待處理人臉圖像的68個特征點，并分別獲取左右眼的外眼角坐標，求出左右眼的外眼角坐標位置的平均值，記為臉部中心點，以該中心點為起始點，分別向上下取兩眼間距的1.6倍距離，向左右取兩眼間距的1.2倍距離，裁剪圖像，得到人臉區域圖像，隨后將裁減得到的人臉區域圖像等比例縮小為448*336的尺寸；

S2：計算縮小后的人臉區域圖像與其水平翻轉后的全局左右光流，并通過人臉解析的方法獲取縮小后的人臉區域圖像的對應矩陣進行點乘，得到優化后的全局左右光流；

S3：將縮小后的人臉區域圖像進行翻轉得到翻轉人臉圖像，并與翻轉前的人臉區域圖像和S2中優化后的全局左右光流拼接，輸入到神經網絡中，得到光流的預測，將光流的預測resize至裁剪前的尺寸得到預測光流；

S4：使用插值函數將預測得到的預測光流作用到裁剪后的圖像中，得到矯正后的人臉圖像；

S5：把原始的人臉圖像替換為矯正后的人臉圖像。

2.根據權利要求1所述的一種基于全局光流和神經網絡的人臉矯正方法，其特征在于，S3中的神經網絡的訓練方法具體包括以下步驟：

S301：獲取訓練樣本的左右任意側面部器官進行鏡像得到人臉對稱圖，對人臉對稱圖模擬實際中人臉五官不對稱的情況隨機ps后得到人臉扭曲圖，將人臉對稱圖和人臉扭曲圖標記為圖像對；

S302：計算S301中所述圖像對中人臉扭曲圖的每個像素到人臉對稱圖對應像素的距離和方向，記為第一光流；

S303：對人臉扭曲圖進行人臉解析，獲取特征點坐標，使用特征點坐標分別建立覆蓋眉眼范圍的第一網格區和覆蓋嘴鼻范圍的第二網格區；

S304：獲取第一光流作用下兩個網格區中每個網格點(x,y)對應位置的值(v_x,v_y),相加后得到人臉對稱圖的網格點像素的坐標；

S305：計算反映人臉扭曲圖的網格點的坐標和人臉對稱圖的網格點的坐標的對應關系的TPS函數F；

S306：建立與人臉扭曲圖尺寸相同的密集網格點，每個網格點即為人臉扭曲圖對應的扭曲樣本的每個像素坐標，輸入TPS函數F中后計算得到訓練樣本對應像素點的坐標；

S307：將S306中訓練樣本像素點的坐標減去扭曲樣本像素點的坐標，得到第一光流修正后的光流，記為第二光流；

S308：計算人臉對稱圖的網格點到人臉扭曲圖的網格點的TPS函數，得到F的反函數F^’；

S309：將人臉對稱圖輸入到F^’中得到與人臉扭曲圖的扭曲形態相同的修正扭曲圖；

S310：將修正扭曲圖、修正扭曲圖的人臉任意側翻轉后的圖像和全局左右光流作為輸入，第二光流作為輸出，對神經網絡進行訓練。

3.根據權利要求2所述的一種基于全局光流和神經網絡的人臉矯正方法，其特征在于：所述待處理人臉圖像、訓練樣本、人臉扭曲圖與修正扭曲圖的像素矩陣大小為1000*800，所述第一網格區的像素矩陣大小為15*8，所述第二網格區的像素矩陣大小為8*10。

4.根據權利要求2所述的一種基于全局光流和神經網絡的人臉矯正方法，其特征在于：所述第一網格區的上邊界為眉毛頂部對應的水平線，下邊界為眼睛底部所在水平線與鼻子頂部所在水平線的中間線，左邊界為眉毛和眼睛的所有像素點中最左側像素點所在的豎直線，右邊界為眉毛和眼睛的所有像素點中最右側像素點所在的豎直線。

5.根據權利要求2所述的一種基于全局光流和神經網絡的人臉矯正方法，其特征在于：所述第二網格區的上邊界為鼻子頂部所在水平線，下邊界為嘴巴底部所在水平線，左邊界為鼻子和嘴巴所有像素點中最左側像素點所在的豎直線，右邊界為鼻子和嘴巴的所有像素點中最右側像素點所在的豎直線。