[發明專利]一種人臉圖像重光照的方法

有效

• 申請號: 201710702356.3
• 申請日: 2017-08-16
• 公開（公告）號: CN107506714B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 張學成;徐瀅
• 申請（專利權）人: 成都品果科技有限公司
• 主分類號: G06T15/50
• 分類號: G06T15/50;G06T17/00;G06K9/00
• 代理公司: 成都高遠知識產權代理事務所(普通合伙) 51222
• 代理人: 李安霞;曾克

本發明公開一種人臉圖像重光照的方法，包括：對二維人臉圖像進行人臉識別，獲取二維特征點；根據二維特征點和三維臉部模型數據進行面部三維重建，生成三維人臉圖像的三維網格；根據光照渲染參數和預建的光照模型對三維網格進行局部光照渲染，生成第一二維面部光照映射圖；對二維人臉圖像進行膚色檢測，獲取二維人臉圖像膚色概率值；根據膚色概率值對第一二維面部光照映射圖進行非膚色區域保護，獲取第二二維面部光照映射圖；對第二二維面部光照映射圖的臉部輪廓進行邊緣擴展，獲取第三二維面部光照映射圖；將第三二維面部光照映射圖與二維人臉圖像進行重光融合，生成打光結果圖。本發明提供的技術方案簡單易行，快速高效，且用戶可操控性強。

技術領域

本發明涉及數字圖像處理技術領域，尤其涉及一種人臉圖像重光照的方法。

背景技術

近年來，人像美顏美妝類應用深受年輕用戶喜愛，為了得到好的拍攝效果，通常需要使用者處于良好的光線環境和光照條件下。由于光照條件和光源位置因素很容易造成面部立體等細節丟失，造成美妝后面部成片效果平整，缺乏真實感。作為對上述這類應用成片效果的改善，提出了一種后期對拍攝人像照片進行面部二次光照(Relighting)方法，即人臉圖像重光照的方法。該方法是根據光照或外部環境的變化情況，對目標人物的人臉圖像進行調整，并生成與指定的目標光照環境相一致的人臉圖像。人臉圖像重光照操作在人臉識別、基于圖像的渲染、以及電影后期制作等領域都有著非常廣泛的應用。

現有的人臉圖像重光照的方法較多，比較主流的方法有：(1)搜集各種姿態下的人臉光照圖像及相應的光照數據建立模型數據庫，對當前人臉圖像進行預處理和模型匹配得到光源位置和重光照相關數據，并進行重光照處理。(2)建立一個標準3D人臉模型，使用球面諧波等三維分析技術得到當前人臉圖像的三維姿態信息。根據三維姿態信息對標準三維人臉模型進行幾何變換，得到當前人臉圖像的3D模型，根據3D模型和數據庫預估光源位置，并進行后續的重光照處理。

從上述方法可以看出，現有的人臉圖像重光照技術需要提前準備大量的處于不同人臉姿態下的樣本數據。同時，考慮到不同種族和膚色具有不同的面部結構(臉型)以及不同的光照反射率，這使得需要的準備的樣本數量大大提升。基于這些環境因素干擾以及其采用的技術方案，上述的方法很難準確進行面部的3D結構的重建和還原。同時由于膚色以及不同的面部結構問題也很難找出光源準確位置、以及材質相關系數。總之，現有的技術方案較復雜、不易掌握，且實施起來效率較低。

發明內容

本發明旨在提供一種人臉圖像重光照的方法，簡單易行，快速高效，且用戶可操控性強、重光照效果逼真。

為達到上述目的，本發明采用的技術方案如下：

一種人臉圖像重光照的方法，包括：

對獲取的二維人臉圖像進行人臉識別與五官定位，獲取人臉預定部位的二維特征點；

根據所述二維特征點和預設的三維臉部模型數據進行面部三維重建，獲取三維人臉圖像，并獲取所述二維特征點的深度信息和所述三維人臉圖像的網格頂點數據；

根據所述網格頂點數據和Delaunay三角剖分算法生成所述三維人臉圖像的三維網格；

配置光照渲染參數；根據所述光照渲染參數和預先建立的光照模型對所述三維網格進行局部光照渲染，生成第一二維面部光照映射圖；

對所述二維人臉圖像進行膚色檢測，獲取所述二維人臉圖像的膚色概率值；根據所述膚色概率值對所述第一二維面部光照映射圖進行非膚色區域的保護，獲取第二二維面部光照映射圖；

對所述第二二維面部光照映射圖的臉部輪廓和額頭部位進行邊緣擴展，獲取第三二維面部光照映射圖，包括：對所述第二二維面部光照映射圖的臉部輪廓和額頭部位進行預定范圍的膨脹，使光照區域能夠完全覆蓋所述第二二維面部光照映射圖；對膨脹后的第二二維面部光照映射圖進行高斯濾波處理，獲取第三二維面部光照映射圖；