[發明專利]一種基于全局光流和神經網絡的人臉五官矯正方法

在審

• 申請號: 202011626880.5
• 申請日: 2020-12-30
• 公開（公告）號: CN113076792A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 馬勇;王子越
• 申請（專利權）人: 無錫樂騏科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于全局光流和神經網絡的人臉五官矯正方法，該方法屬于人臉圖像處理領域。所述方法通過神經網絡對原始人臉訓練圖像、鏡像人臉訓練圖像和第一光流進行訓練，將訓練后的模型用于人臉五官矯正。本發明公開的目的是為了解決現有技術中存在的人臉美化過程中的真實性有所欠缺且傳統光流法直接處理人臉圖像容易出現的不光滑的情況導致處理圖片失真的問題。借此，本發明能夠避免傳統的光流法中存在的僅計算稀疏矩陣導致回歸的人臉特征不光滑的問題，從而達到人臉美化的效果。

技術領域

本發明涉及人臉圖像處理領域，特別是涉及一種基于全局光流和神經網絡的人臉五官矯正方法。

背景技術

人臉圖像處理領域中，為了實現對人臉原圖的美化，已經應運而生了磨皮、美白、瘦臉和大眼的諸多美顏功能，這些功能在實現的過程中采用了一套固有模式，美顏后的效果也千篇一律，普通人臉通過這些處理通常會與本人有較大的差異，缺少了每個個體應有的特色，尤其是在一些對真實性有較高要求的場合，過度的美顏效果可能會適得其反；此前也有部分學者提出使用學習的方法進行人臉美化，比如先提取人臉84個特征點，然后使用SVR和卷積神經網絡對這些特征點進行優化，但是這些基于特征點的方法只用了稀疏的特征，而且依賴于特征點檢測的精確性，而用傳統的光流法由于只應用于稀疏矩陣，直接計算人臉圖像則面臨著極不光滑的問題，因此有很大的缺陷。

發明內容

為了解決上述現有技術中存在的人臉美化過程中的真實性有所欠缺且傳統光流法直接處理人臉圖像容易出現的不光滑的情況導致處理圖片失真的問題，本發明提出了一種基于全局光流和神經網絡的人臉五官矯正方法，利用神經網絡訓練光流，輸出對應的label，然后用光流信息通過插值的方法對圖像進行矯正，從而使人臉五官的矯正更加光滑。

鑒于以上情況，本發明提出了一種基于全局光流和神經網絡的人臉五官矯正方法，具體包括以下步驟：

S1：獲取待處理人臉圖像，解析出待處理人臉圖像的68個特征點，并分別獲取左右眼的外眼角坐標，將左眼的左側眼角坐標記為(x1，y1)，右眼的右側眼角坐標記為(x2，y2)，求出左右眼的外眼角坐標位置的中點位置坐標，即((x1+x2)/2，(y1+y2)/2)，記為臉部中心點，以該中心點為起始點，分別向上下取兩眼間距的1.6倍距離，向左右取兩眼間距的1.2倍距離，裁剪圖像，若上下距離或左右距離過小，則通過padding的方式以獲得裁減圖像，得到人臉區域圖像，隨后將裁減得到的人臉區域圖像等比例縮小為448＊336的尺寸；

S2：計算縮小后的人臉區域圖像與其水平翻轉后的全局左右光流，并通過人臉解析的方法獲取縮小后的人臉區域圖像的對應矩陣進行點乘，得到優化后的全局左右光流，人臉解析是將人臉圖像進行語義分割，將面部標記為1，其余部分標記為O；

S3：將縮小后的人臉區域圖像進行翻轉得到翻轉人臉圖像，并與翻轉前的人臉區域圖像和S2中優化后的全局左右光流拼接，輸入到神經網絡中，得到光流的預測，將光流的預測resize至裁剪前的尺寸得到預測光流；

S4：使用插值函數將預測得到的預測光流作用到裁剪后的圖像中，得到矯正后的人臉圖像；

S5：把原始的人臉圖像替換為矯正后的人臉圖像。

優選地，S3中的神經網絡的訓練方法具體包括以下步驟：

S301：獲取訓練樣本的左右任意側面部器官進行鏡像得到人臉對稱圖，對人臉對稱圖模擬實際中人臉五官不對稱的情況隨機ps后得到人臉扭曲圖，將人臉對稱圖和人臉扭曲圖標記為圖像對；

S302：計算S301中所述圖像對中人臉扭曲圖的每個像素到人臉對稱圖對應像素的距離和方向，記為第一光流；

S303：對人臉扭曲圖進行人臉解析，獲取特征點坐標，使用特征點坐標分別建立覆蓋眉眼范圍的第一網格區和覆蓋嘴鼻范圍的第二網格區；