[發(fā)明專利]一種基于兩幅圖像的三維頭部建模方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201110343674.8
• 申請(qǐng)日: 2011-11-03
• 公開（公告）號(hào): CN102426712A
• 公開（公告）日: 2012-04-25
• 發(fā)明（設(shè)計(jì)）人: 王海波;潘春洪
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 周國城

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)等技術(shù)領(lǐng)域，特別涉及一種基于正側(cè)面兩幅圖像的三維頭部形狀和紋理建模的技術(shù)。

背景技術(shù)

利用數(shù)碼相機(jī)在不同角度進(jìn)行拍攝，可以獲取大量的二維人臉圖像。如果能夠從這些圖像中恢復(fù)出三維的人臉模型，在虛擬視頻會(huì)議、在線角色游戲和3D電影等領(lǐng)域都將獲得廣泛的應(yīng)用。但由于圖像三維結(jié)構(gòu)的丟失，從輸入圖像中完整地重建出三維臉部模型和結(jié)構(gòu)細(xì)節(jié)存在著很多的技術(shù)難題。在計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域，這是一個(gè)研究了很多年的問題，根據(jù)技術(shù)手段和所需圖像樣本數(shù)量的不同，已有的方法大致可以分為以下的兩類：

第一類是利用計(jì)算機(jī)視覺的重建技術(shù)，無需或僅需少量手動(dòng)交互的方法。當(dāng)大量人臉樣本存在時(shí)，通過統(tǒng)計(jì)學(xué)習(xí)一個(gè)可變的二維人臉模型，可以由模板匹配實(shí)現(xiàn)從單一圖像中恢復(fù)出三維人臉模型的技術(shù)。在該方法中，可變模型的初始位置需手工給定，而模型匹配的過程則通過目標(biāo)函數(shù)梯度相關(guān)方向的搜索自動(dòng)完成。該方法的缺點(diǎn)是從二維匹配做三維結(jié)構(gòu)恢復(fù)時(shí)，需要一個(gè)可變的三維模型作為先驗(yàn)，這只能使用昂貴的三維激光掃描設(shè)備才能準(zhǔn)確獲得，因而應(yīng)用受限。通過立體視覺匹配的技術(shù)，也可以從一段視頻序列中恢復(fù)出三維頭部模型來。這一方法，無需先驗(yàn)?zāi)Ｐ蛯W(xué)習(xí)和手動(dòng)交互，但是，對(duì)圖像序列跟蹤誤差和視覺匹配誤差很敏感。在缺乏監(jiān)督信息的條件下，由于匹配過程是一個(gè)全局非凸的迭代過程，當(dāng)視頻跟蹤存在誤差或給定的模型初始值存在小的誤差時(shí)，最終結(jié)果可能與期望的重建效果相差甚遠(yuǎn)。這類方法，雖然沒有交互的需求，但普遍存在著要求大量圖像樣本的缺點(diǎn)。此外，計(jì)算過程對(duì)初始值和圖像噪聲普遍較為敏感，進(jìn)一步限制了這類方法在實(shí)際中的應(yīng)用。

第二類是基于計(jì)算機(jī)圖形學(xué)的交互式建模方法。這類方法基于一個(gè)表面參數(shù)化的三維頭部模型，通過表面網(wǎng)格變形達(dá)到建模的目的。其中，基于物理定律的網(wǎng)格形變是比較主流的技術(shù)。該方法假設(shè)模型網(wǎng)格是一個(gè)連續(xù)平滑的表面，滿足局部二階平滑、牛頓動(dòng)力方程、系統(tǒng)能量守恒等物理定律。當(dāng)用戶交互調(diào)整某部分時(shí)，表面便在這些定律的約束下通過計(jì)算變換到新的形狀。由于這些物理能量項(xiàng)之間存在著復(fù)雜的相互制約的關(guān)系，往往需要多次手工調(diào)整才能保證新形狀的真實(shí)性。另外，由于一些局部細(xì)節(jié)的調(diào)整需要一些美學(xué)專業(yè)的基礎(chǔ)，對(duì)于普通的用戶來說，需要多次重復(fù)交互試驗(yàn)才能取得較好的效果，因而時(shí)間消耗更長(zhǎng)。融合基于視覺與基于運(yùn)動(dòng)捕捉數(shù)據(jù)重定向的建模方法可以大大減輕交互的任務(wù)，且能夠強(qiáng)調(diào)臉部細(xì)節(jié)的重建，但由于涉及運(yùn)動(dòng)捕捉設(shè)備，該方法的使用成本很高，難以普及。對(duì)于這類方法，僅需兩幅不同角度的圖像即可完成建模過程，但存在較多的交互要求，往往給用戶帶來諸多麻煩。

綜上所述，現(xiàn)有的三維頭部建模技術(shù)遠(yuǎn)未成熟，還無法從給定的少量圖像中，無需或僅需少量手動(dòng)交互，即可恢復(fù)出三維臉部模型及其細(xì)節(jié)。如何在無需先驗(yàn)訓(xùn)練樣本的情況下，從不多于兩幅圖像中完整地重建出任意用戶的頭部形狀和細(xì)節(jié)仍是一個(gè)頗具挑戰(zhàn)性的難題。

發(fā)明內(nèi)容

本發(fā)明的目的旨在盡可能減少用戶交互量和所需圖像數(shù)量的前提條件下，基于兩幅圖像恢復(fù)出用戶三維人臉的真實(shí)感表面，為此提供一種三維頭部建模的新方法。

為達(dá)成所述目的，本發(fā)明提供一種基于兩幅圖像的三維頭部建模方法的步驟包括：

步驟S1：調(diào)整三維模型的三維位置與姿態(tài)角度，使其與給定的兩幅圖像的用戶臉部姿態(tài)近似對(duì)應(yīng)一致；

步驟S2：交互調(diào)整包含11個(gè)控制點(diǎn)的臉部輪廓區(qū)域的位置，使其與給定圖像的用戶臉部形狀對(duì)應(yīng)一致；

步驟S3：在輪廓控制點(diǎn)調(diào)整的同時(shí)，利用移動(dòng)最小二乘法實(shí)時(shí)計(jì)算所有非控制點(diǎn)的形變，保持表面連續(xù)平滑；

步驟S4：交互調(diào)整眼眉(6個(gè))、眼睛(8個(gè))、鼻子(4個(gè))與嘴部(6個(gè))控制點(diǎn)的位置，使其與給定圖像的用戶五官區(qū)域?qū)?yīng)一致；

步驟S5：在五官控制點(diǎn)調(diào)整的同時(shí)，利用移動(dòng)最小二乘法實(shí)時(shí)計(jì)算所有非控制點(diǎn)的形變，保持表面連續(xù)平滑；

步驟S6：計(jì)算形變后模型的包絡(luò)圓柱紋理坐標(biāo)，進(jìn)而通過獲取輸入人臉圖像中的顏色值，合成紋理圖像并貼至模型表面，生成具有真實(shí)感的頭部模型。