[發(fā)明專利]一種基于3D重建的人頭識(shí)別方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110034774.6
• 申請(qǐng)日: 2021-01-12
• 公開（公告）號(hào): CN112686202B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 王中元;王聞捷;曾康利;韓鎮(zhèn);梁超;鄒華
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/774;G06T17/00;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 魏波

1.一種基于3D重建的人頭識(shí)別方法，其特征在于，包括以下步驟：

步驟1：圖像采集；

步驟2：3D人頭模型重建；

利用目標(biāo)對(duì)稱性構(gòu)建3D模型，對(duì)人頭照片進(jìn)行3D重建，獲得3D重建圖像；

通過模型Φ，將原始圖像I分解為深度d、反照度a、光照方向l和視點(diǎn)w，同時(shí)生成圖像的對(duì)稱置信圖，3D重建圖像表示；其中，Λ(a，d，l)表示光照函數(shù)，Π(Λ(a，d，l)，d，w)表示再投影函數(shù)；

具體實(shí)現(xiàn)包括以下子步驟：

步驟2.1：利用光照函數(shù)Λ，在視點(diǎn)w＝0的情況下，利用因子d，l，a生成一個(gè)標(biāo)準(zhǔn)視角的重建圖像J；

首先通過深度d計(jì)算每個(gè)像素點(diǎn)(u，v)的法線n_uv，表示每個(gè)像素(u，v)沿u，v方向垂直于3D表面的法向量，其中p＝(u，v，1)，e_x＝(1，0，0)，K^-1表示矩陣K的逆矩陣；

將法線n_uv與光照方向l相乘，得到定向光，將其加入氛圍光中；最后，將結(jié)果與反照度a_uv相乘，得到光照紋理J_uv＝(k_s+k_dmax{0，l，n_uv})·a_uv，其中k_s和k_d由3D模型預(yù)測所得，值在0和1之間，代表漫反射和高光反射的系數(shù)；

步驟2.2：利用再投影函數(shù)Π，通過深度d和具有陰影的標(biāo)準(zhǔn)圖像Λ(a，d，l)來模擬視點(diǎn)w的變化，并生成最終的重建圖像

設(shè)相機(jī)拍下的每幀中點(diǎn)P＝(P_x，P_y，P_z)是一個(gè)三維點(diǎn)，像素坐標(biāo)系下有點(diǎn)p＝(u，v，1)；通過式(2)將實(shí)際世界的點(diǎn)P映射到像素坐標(biāo)系p下；

其中，W、H、c_u、c_v、f為參數(shù)名，θ_FOV為視場角，表示相機(jī)的視野范圍，∝為數(shù)學(xué)符號(hào)，表示正比于；W，H分別表示圖像的寬度和高度；

存在逆變換P＝d_uv·K^-1p，其中d_uv表示每個(gè)像素(u，v)標(biāo)準(zhǔn)深度值；

最終再投影函數(shù)Π通過式(3)將標(biāo)準(zhǔn)視角的圖像J映射為實(shí)際重建后圖像標(biāo)準(zhǔn)視角上的一個(gè)像素點(diǎn)p(u，v)通過式(3)映射到實(shí)際視角的像素點(diǎn)p′(u′，v′)；

p′∝K(d_uv·RK^-1p+T)，p′＝(u′，v′，1)???(3)

其中，p表示原始圖像中像素，p′表示重建后圖像中像素；(R，T)代表了視點(diǎn)的歐式變換(R，T)∈SE(3)，其含義為w_1：3和w_4：6分別表示在x，y，z軸上的旋轉(zhuǎn)角和位移；

步驟2.3：利用對(duì)稱性構(gòu)建重建損失函數(shù)來促進(jìn)

假定深度d和反照度a是關(guān)于一個(gè)固定的垂直平面對(duì)稱的；為了達(dá)到假定的平面對(duì)稱的效果，對(duì)a和d沿水平軸翻轉(zhuǎn)，得到a′，d′；利用a′和d′構(gòu)建第二個(gè)重建來對(duì)對(duì)稱性進(jìn)行約束，即：

更新重建損失函數(shù)，促使

I和的損失函數(shù)為：

其中，是在(u，v)位置的坐標(biāo)像素上的L₁距離；Ω表示像素點(diǎn)個(gè)數(shù)；σ_uv表示(u，v)位置的對(duì)稱置信度，由模型Φ推出；

對(duì)于重構(gòu)圖像使用第二個(gè)置信度圖σ′，采用相同的損失函數(shù)用于表示圖像中哪些部分是非對(duì)稱的；算法學(xué)習(xí)目標(biāo)即是這兩個(gè)重建損失的結(jié)合：

L₁的損失函數(shù)式(5)會(huì)對(duì)小的幾何缺陷非常敏感，致使重建出的圖像較為模糊，因此加入一個(gè)感知損失項(xiàng)來緩解這個(gè)問題，為：

其中圖像編碼器e的第k層預(yù)測出一個(gè)表達(dá)e^(k)(I)，第k層的每個(gè)像素索引uv有表示第k層(u，v)位置的對(duì)稱置信度，Ω^k表示第k層的像素個(gè)數(shù)；

最后，損失函數(shù)為λ_p＝1；

步驟3：人頭識(shí)別網(wǎng)絡(luò)訓(xùn)練；

基于深度卷積神經(jīng)網(wǎng)絡(luò)算法，從海量人臉數(shù)據(jù)集中訓(xùn)練出一個(gè)在監(jiān)控環(huán)境下識(shí)別精度達(dá)到預(yù)設(shè)值的人頭識(shí)別網(wǎng)絡(luò)；

步驟4：人頭識(shí)別；

將步驟2中獲得的3D重建圖像輸入步驟3中訓(xùn)練好的人頭識(shí)別網(wǎng)絡(luò)中進(jìn)行人頭識(shí)別。