[發(fā)明專利]一種頭部三維重建方法及設(shè)備

在審

• 申請?zhí)枺?/td>: 202111197148.5
• 申請日: 2021-10-14
• 公開（公告）號: CN115984452A
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 劉帥;吳連朋
• 申請（專利權(quán)）人: 聚好看科技股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20;G06V40/16
• 代理公司: 北京同達信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 任嘉文

1.一種頭部三維重建方法，其特征在于，包括：

針對每一幀人臉圖像，獲取所述人臉圖像對應(yīng)的語音數(shù)據(jù)；

從所述人臉圖像中提取第一表情參數(shù)，以及從相應(yīng)的語音數(shù)據(jù)中提取第二表情參數(shù)，得到目標(biāo)驅(qū)動參數(shù)，所述目標(biāo)驅(qū)動參數(shù)用于驅(qū)動預(yù)先存儲的參數(shù)化頭部模型運動；

根據(jù)所述人臉圖像的采集幀率，調(diào)節(jié)所述第二表情參數(shù)的第一權(quán)重，以及根據(jù)兩兩目標(biāo)對象對應(yīng)的人體三維模型之間的距離，調(diào)節(jié)所述目標(biāo)驅(qū)動參數(shù)的第二權(quán)重；

將所述第一表情參數(shù)、所述第二表情參數(shù)、所述第一權(quán)重和所述第二權(quán)重，發(fā)送給渲染端，以使所述渲染端按照所述第一權(quán)重和所述第二權(quán)重，根據(jù)所述第一表情參數(shù)和所述第二表情參數(shù)，驅(qū)動所述參數(shù)化頭部模型運動。

2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述人臉圖像的采集幀率，調(diào)節(jié)所述第二表情參數(shù)的第一權(quán)重，包括：

若所述采集幀率小于所述渲染端預(yù)設(shè)的渲染幀率，則針對不存在所述第一表情參數(shù)的人臉圖像，設(shè)置從相應(yīng)人臉圖像對應(yīng)的語音數(shù)據(jù)中提取的所述第二表情參數(shù)的第一權(quán)重為1，針對存在所述第一表情參數(shù)的人臉圖像，調(diào)低從相應(yīng)人臉圖像對應(yīng)的語音數(shù)據(jù)中提取的所述第二表情參數(shù)的第一權(quán)重；或者

若所述采集幀率不小于所述渲染端預(yù)設(shè)的渲染幀率，則調(diào)低從所述人臉圖像對應(yīng)的語音數(shù)據(jù)中提取的所述第二表情參數(shù)的第一權(quán)重。

3.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)兩兩目標(biāo)對象對應(yīng)的人體三維模型之間的距離，調(diào)節(jié)所述目標(biāo)驅(qū)動參數(shù)的第二權(quán)重，包括：

根據(jù)預(yù)先建立的距離與模型等級之間的對應(yīng)關(guān)系，確定所述目標(biāo)對象的參數(shù)化頭部模型的模型等級；

根據(jù)所述模型等級，調(diào)節(jié)所述目標(biāo)驅(qū)動參數(shù)的第二權(quán)重。

4.如權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述模型等級，調(diào)節(jié)所述目標(biāo)驅(qū)動參數(shù)的第二權(quán)重，包括：

若所述模型等級小于第一預(yù)設(shè)等級，則調(diào)低所述目標(biāo)驅(qū)動參數(shù)的第二權(quán)重；或者

若所述模型等級大于第二預(yù)設(shè)等級，則調(diào)高所述目標(biāo)驅(qū)動參數(shù)的第二權(quán)重，所述第一預(yù)設(shè)等級小于等于所述第二預(yù)設(shè)等級。

5.如權(quán)利要求1-4中任一項所述的方法，其特征在于，所述方法還包括：

從每一幀人臉深度圖像，提取深度數(shù)據(jù)；

根據(jù)提取的深度數(shù)據(jù)，優(yōu)化所述參數(shù)化頭部模型。

6.一種重建設(shè)備，其特征在于，包括處理器、存儲器、顯示器以及至少一個外部通信接口，所述處理器、所述存儲器、所述顯示器以及所述外部通信接口通過總線連接；

所述至少一個通信接口，被配置為獲取目標(biāo)對象的圖像以及獲取目標(biāo)對象的語音數(shù)據(jù)；

所述存儲器中存儲有計算機程序，所述處理器被配置為基于所述計算機程序執(zhí)行以下操作：

針對每一幀人臉圖像，獲取所述人臉圖像對應(yīng)的語音數(shù)據(jù)；

從所述人臉圖像中提取第一表情參數(shù)，以及從相應(yīng)的語音數(shù)據(jù)中提取第二表情參數(shù)，得到目標(biāo)驅(qū)動參數(shù)，所述目標(biāo)驅(qū)動參數(shù)用于驅(qū)動預(yù)先存儲的參數(shù)化頭部模型運動；

根據(jù)所述人臉圖像的采集幀率，調(diào)節(jié)所述第二表情參數(shù)的第一權(quán)重，以及根據(jù)兩兩目標(biāo)對象對應(yīng)的人體三維模型之間的距離，調(diào)節(jié)所述目標(biāo)驅(qū)動參數(shù)的第二權(quán)重；

將所述第一表情參數(shù)、所述第二表情參數(shù)、所述第一權(quán)重和所述第二權(quán)重，發(fā)送給渲染端，以使所述渲染端按照所述第一權(quán)重和所述第二權(quán)重，根據(jù)所述第一表情參數(shù)和所述第二表情參數(shù)，驅(qū)動所述參數(shù)化頭部模型運動。

7.如權(quán)利要求6所述的重建設(shè)備，其特征在于，所述處理器根據(jù)所述人臉圖像的采集幀率，調(diào)節(jié)所述第二表情參數(shù)的第一權(quán)重，具備被配置為：

若所述采集幀率小于所述渲染端預(yù)設(shè)的渲染幀率，則針對不存在所述第一表情參數(shù)的人臉圖像，設(shè)置相應(yīng)語音數(shù)據(jù)中提取的所述第二表情參數(shù)的第一權(quán)重為1，針對存在所述第一表情參數(shù)的人臉圖像，調(diào)低相應(yīng)語音數(shù)據(jù)中提取的所述第二表情參數(shù)的第一權(quán)重；或者

若所述采集幀率不小于所述渲染端預(yù)設(shè)的渲染幀率，則調(diào)低從所述人臉圖像對應(yīng)的語音數(shù)據(jù)中提取的所述第二表情參數(shù)的第一權(quán)重。