[發(fā)明專利]三維人臉模型重建方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110082037.3
• 申請日: 2021-01-21
• 公開（公告）號: CN112884881B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 柴金祥;其他發(fā)明人請求不公開姓名
• 申請（專利權(quán)）人: 魔琺（上海）信息科技有限公司;上海墨舞科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V40/16
• 代理公司: 北京林達(dá)劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本申請關(guān)于一種三維人臉模型重建方法、裝置、電子設(shè)備及存儲介質(zhì)。所述方法包括：獲取單相機(jī)人臉圖像；將所述單相機(jī)人臉圖像輸入至人臉信息預(yù)測模型中，經(jīng)所述人臉信息預(yù)測模型輸出所述單相機(jī)人臉圖像中的目標(biāo)人臉二維特征點(diǎn)和目標(biāo)紋理映射信息；利用身份參數(shù)、人臉姿態(tài)參數(shù)和表情參數(shù)確定三維人臉模型，使得所述三維人臉模型確定的人臉二維特征點(diǎn)與所述目標(biāo)人臉二維特征點(diǎn)相匹配、確定的紋理映射信息和目標(biāo)紋理映射信息相匹配利用本申請各個(gè)實(shí)施例提供的三維人臉模型重建方法、裝置、電子設(shè)備及存儲介質(zhì)，可以快速、準(zhǔn)確地重建得到三維人臉模型。

技術(shù)領(lǐng)域

本申請涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種三維人臉模型重建方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

人臉表情捕捉在很多領(lǐng)域都發(fā)揮著重要作用，典型地，比如電影、游戲、刑偵、視頻監(jiān)控等等。相關(guān)技術(shù)中，采用一些成本較高且過程復(fù)雜的方式確實(shí)可以捕捉到比較準(zhǔn)確的人臉表情，例如在人臉上采用反射性采集標(biāo)記點(diǎn)的方式能夠獲取到準(zhǔn)確的人臉表情。但是，該方式所花費(fèi)的巨大成本以及給用戶帶來的不舒適感嚴(yán)重阻礙其發(fā)展和推廣。

單相機(jī)人臉圖像采集具有低成本、易安裝、用戶友好等特點(diǎn)，但是單相機(jī)人臉圖像一般是只有一種視角的二維信息，比較難以提供三維信息。因此，要想獲取生動(dòng)逼真的人臉表情，則需要對單相機(jī)人臉圖像進(jìn)行三維人臉模型重建。但是，目前基于單相機(jī)人臉圖像重建的三維人臉模型往往精確度較低，難以捕捉到逼真的人臉表情。

因此，相關(guān)技術(shù)中亟需一種精確度更高的基于單相機(jī)人臉圖像的三維人臉模型重建方式。

發(fā)明內(nèi)容

本申請實(shí)施例的目的在于提供一種三維人臉模型重建方法、裝置、電子設(shè)備及存儲介質(zhì)，可以快速、準(zhǔn)確地重建得到三維人臉模型。

本申請實(shí)施例提供的三維人臉模型重建方法、裝置、電子設(shè)備及存儲介質(zhì)是這樣實(shí)現(xiàn)的：

一種三維人臉模型重建方法，所述方法包括：

獲取單相機(jī)人臉圖像；

將所述單相機(jī)人臉圖像輸入至人臉信息預(yù)測模型中，經(jīng)所述人臉信息預(yù)測模型輸出所述單相機(jī)人臉圖像中的目標(biāo)人臉二維特征點(diǎn)和目標(biāo)紋理映射信息；

利用身份參數(shù)、人臉姿態(tài)參數(shù)和表情參數(shù)確定三維人臉模型，使得所述三維人臉模型確定的人臉二維特征點(diǎn)與所述目標(biāo)人臉二維特征點(diǎn)相匹配、確定的紋理映射信息和目標(biāo)紋理映射信息相匹配。

可選的，在本申請的一個(gè)實(shí)施例中，所述獲取單相機(jī)人臉圖像，包括：

獲取包含人臉圖像在內(nèi)的單相機(jī)圖像；

對所述單相機(jī)圖像進(jìn)行人臉檢測，并從所述單相機(jī)圖像中截取單相機(jī)人臉圖像。

可選的，在本申請的一個(gè)實(shí)施例中，所述人臉信息預(yù)測模型被設(shè)置為按照下述方式訓(xùn)練得到：

獲取多個(gè)單相機(jī)人臉樣本圖像，所述單相機(jī)人臉樣本圖像中標(biāo)注有人臉二維特征點(diǎn)和紋理映射信息；

構(gòu)建人臉信息預(yù)測模型，所述人臉信息預(yù)測模型中設(shè)置有模型參數(shù)；

將所述單相機(jī)人臉樣本圖像輸入至所述人臉信息預(yù)測模型中，生成預(yù)測結(jié)果，所述預(yù)測結(jié)果包括預(yù)測得到的人臉二維特征點(diǎn)和紋理映射信息；

基于所述預(yù)測結(jié)果與所述人臉二維特征點(diǎn)、所述紋理映射信息之間的差異，對所述模型參數(shù)進(jìn)行迭代調(diào)整，直至所述差異滿足預(yù)設(shè)要求。

可選的，在本申請的一個(gè)實(shí)施例中，所述單相機(jī)人臉樣本圖像被設(shè)置為按照下述方式獲?。?/p>

利用多相機(jī)同時(shí)從不同角度采集得到同一人臉的多個(gè)單相機(jī)圖像；

利用所述多個(gè)單相機(jī)圖像重建得到所述人臉的三維人臉模型；