[發明專利]一種頭部三維重建方法及設備

在審

• 申請號: 202111197148.5
• 申請日: 2021-10-14
• 公開（公告）號: CN115984452A
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 劉帥;吳連朋
• 申請（專利權）人: 聚好看科技股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20;G06V40/16
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 任嘉文

本申請涉及三維重建技術領域，提供一種頭部三維重建方法及設備，分別從人臉圖像和對應的語音數據中提取表情參數，根據人臉圖像的采集幀率和渲染幀率的比較結果，調整從語音數據中提取的表情參數的第一權重，以及，根據虛擬空間中兩兩人體模型之間的距離，調整表情參數的第二權重，并將提取的表情參數和確定的權重發送給渲染顯示端，由渲染顯示端按照第一權重和第二權重，由表情參數驅動預先存儲的參數化頭部模型運動，從而完成三維重建。通過使用語音數據中提取的表情參數，可以彌補人臉圖像缺失導致模型重建失敗的問題，提高三維重建的魯棒性；且考慮到聲音對面部表情的影響，結合語音數據進行三維重建，使得重建的頭部三維模型更加真實。

技術領域

本申請涉及三維重建技術領域，尤其涉及一種頭部三維重建方法及設備。

背景技術

人體三維重建是實現遠程三維通信系統的基礎，而頭部三維重建是人體三維重建的關鍵，直接影響三維重建的效果。

目前，一般使用參數化頭部模型進行頭部三維重建，參數化頭部模型包含形狀參數、表情參數、位姿參數。其中，表情參數可以驅動參數化頭部模型進行非剛性形變，來表達人臉的各種表情變化。

在遠程全息通信場景中，語音作為三維重建過程中信息傳遞的媒介，也會引起面部表情的變化，因此，可結合語音數據進行頭部三維重建。

發明內容

本申請實施例提供了一種頭部三維重建方法及裝置，用以借助聲音進行頭部三維重建，提高三維重建的魯棒性和真實性。

第一方面，本申請實施例提供一種頭部三維重建方法，包括：

針對每一幀人臉圖像，獲取所述人臉圖像對應的語音數據；

從所述人臉圖像中提取第一表情參數，以及從相應的語音數據中提取第二表情參數，得到目標驅動參數，所述目標驅動參數用于驅動預先存儲的參數化頭部模型運動；

根據所述人臉圖像的采集幀率，調節所述第二表情參數的第一權重，以及根據兩兩目標對象對應的人體三維模型之間的距離，調節所述目標驅動參數的第二權重；

將所述第一表情參數、所述第二表情參數、所述第一權重和所述第二權重，發送給渲染端，以使所述渲染端按照所述第一權重和所述第二權重，根據所述第一表情參數和所述第二表情參數，驅動所述參數化頭部模型運動。

可選的，所述根據所述人臉圖像的采集幀率，調節所述第二表情參數的第一權重，包括：

若所述采集幀率小于所述渲染端預設的渲染幀率，則針對不存在所述第一表情參數的人臉圖像，設置從相應人臉圖像對應的語音數據中提取的所述第二表情參數的第一權重為1，針對存在所述第一表情參數的人臉圖像，調低從相應人臉圖像對應的語音數據中提取的所述第二表情參數的第一權重；或者

若所述采集幀率不小于所述渲染端預設的渲染幀率，則調低從所述人臉圖像對應的語音數據中提取的所述第二表情參數的第一權重。

可選的，所述根據兩兩目標對象對應的人體三維模型之間的距離，調節所述目標驅動參數的第二權重，包括：

根據預先建立的距離與模型等級之間的對應關系，確定所述目標對象的參數化頭部模型的模型等級；

根據所述模型等級，調節所述目標驅動參數的第二權重。

可選的，所述根據所述模型等級，調節所述目標驅動參數的第二權重，包括：

若所述模型等級小于第一預設等級，則調低所述目標驅動參數的第二權重；或者

若所述模型等級大于第二預設等級，則調高所述目標驅動參數的第二權重，所述第一預設等級小于等于所述第二預設等級。

可選的，所述方法還包括：

從每一幀人臉深度圖像，提取深度數據；