[發(fā)明專利]一種基于消費級RGB-D相機的人臉視覺外觀恢復方法

有效

• 申請?zhí)枺?/td>: 201810141092.3
• 申請日: 2018-02-11
• 公開（公告）號: CN108447085B
• 公開（公告）日: 2022-01-04
• 發(fā)明（設計）人: 張琪;任重
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/514
• 分類號: G06T7/514;G06T7/536;G06T7/70;G06T17/10
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于消費級RGB-D相機的人臉視覺外觀恢復方法，其特征在于，該方法首先對人臉皮膚材質建模，然后通過聯(lián)合優(yōu)化的方法修正不準確的相機位姿、人臉幾何形狀，并估計耦合在彩色照片中的未知人臉材質和環(huán)境光照，以恢復人臉幾何模型的視覺外觀；

所述的人臉皮膚材質建模具體為：

(1)采用三層皮膚介質模型將皮膚結構簡化為油脂層、表皮層和真皮層等三層；

(2)對由皮膚表皮層和真皮層貢獻的漫反射部分采用基于光譜和生物物理參數(shù)的皮膚雙向表面散射分布函數(shù)對皮膚所具有的半透明效果進行建模；對發(fā)生在皮膚表面油脂層的鏡面反射部分采用基于物理的雙向反射分布函數(shù)進行建模；

所述的聯(lián)合優(yōu)化的方法包括如下步驟：

(1)對相機位姿進行線性參數(shù)化，使用高斯牛頓優(yōu)化方法對相機位姿進行求解；

所述相機位姿的優(yōu)化函數(shù)定義為：

其中，x為所有可見點集X_j中的每一個可見點，X_j為給定彩色照片集合{I_j}和代表人臉幾何信息的點集X在每一張彩色照片I_j中的對應可見點集；I_j(x，T_j)為通過對應的相機位姿T_j找到的該點在相應彩色照片I_j上的投影點像素顏色；表示可見點x在{I_j}中所有彩色照片上投影點像素顏色I_j(x，T_j)的平均值：

在每次迭代中，按照如下方式更新T_j：

T_j^k+1＝T_j^k+ΔT_j

(2)對人臉材質進行逐點和逐區(qū)域地三步法優(yōu)化，使用Nelder-Mead搜索方法對人臉材質的參數(shù)進行求解；

其中，逐點和逐區(qū)域地三步法優(yōu)化具體為：

(a)對人臉漫反射率進行逐點地估計；

(b)固定漫反射率，對人臉鏡面反射率、粗糙度、退化散射系數(shù)、吸光率進行逐區(qū)域地優(yōu)化；

(c)固定逐區(qū)域的人臉鏡面反射率、粗糙度、退化散射系數(shù)、吸光率，對漫反射率進行逐點地優(yōu)化；

(3)對環(huán)境光照使用八面體映射的方法參數(shù)化，使用高斯牛頓優(yōu)化方法對環(huán)境光照進行求解；

(4)對人臉幾何結構添加平滑性和可積性約束，使用高斯牛頓優(yōu)化方法對人臉幾何結構進行求解；

其中，平滑性和可積性約束定義為：

其中，P _S為對人臉幾何模型上逐點的法向量定義的平滑性約束，P_I為對人臉幾何模型上逐點的法向量定義的可積性約束，R_x是點x的一環(huán)鄰域，y₀、y₁是R_x中相鄰的點，C(R_x)為R_x的面積，n為向量，(u，v)^T為法向量在點x的一環(huán)鄰域中局部參數(shù)化后的二維的向量。

2.根據(jù)權利要求1所述的基于消費級RGB-D相機的人臉視覺外觀恢復方法，其特征在于，所述的聯(lián)合優(yōu)化中對環(huán)境光照進行優(yōu)化時采用一個數(shù)據(jù)項約束和一個基于光源物理規(guī)律的普朗克軌跡的軟約束的組合。