[發明專利]虛擬數字人制作方法、相關設備及可讀存儲介質

有效

• 申請號: 202210242958.6
• 申請日: 2022-03-11
• 公開（公告）號: CN114782645B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 葉源成;劉佳麗;蔣寅迪;金博偉;支洪平
• 申請（專利權）人: 科大訊飛（蘇州）科技有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T15/04;G06T5/00;G06T7/70;G06T3/40;G06T3/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 侯珊

1.一種虛擬數字人制作方法，其特征在于，所述方法包括：

獲取目標人物的相機陣列掃描結果；

獲取所述相機陣列中各相機的位姿信息；

利用所述相機陣列中各相機的位姿信息，根據所述目標人物的相機陣列掃描結果，對所述目標人物進行三維重建，生成所述目標人物的高精度三維人體模型；

對所述高精度三維人體模型進行預處理，生成預處理后的高精度三維人體模型；

對所述預處理后的高精度三維人體模型進行低模拓撲，得到低精度參數化模型；

基于所述預處理后的高精度三維人體模型，對所述低精度參數化模型進行形狀注冊、紋理注冊、紋理烘焙及網格結構的布線調整，得到低精度三維人體模型；

對所述低精度三維人體模型進行骨架結構綁定和蒙皮處理，得到所述目標人物對應的虛擬數字人；

其中，基于所述預處理后的高精度三維人體模型，對所述低精度參數化模型進行形狀注冊，包括：

對所述低精度參數化模型進行剛性變換，將所述低精度參數化模型與所述處理后的高精度三維人體模型對齊；

基于所述預處理后的高精度三維人體模型對所述低精度參數化模型進行非剛性變換；

基于所述低精度參數化模型各組件的相對位置關系進行校準；

基于所述預處理后的高精度三維人體模型，對所述低精度參數化模型進行紋理注冊，包括：

針對低精度參數化模型的各個紋理三角面，在所述預處理后的高精度三維人體模型無序的紋理圖中搜索其覆蓋的各個區域；

對各個區域進行拼接縫合，通過插值提取對應像素值的方式，生成所述低精度參數化模型的有序紋理圖。

2.根據權利要求1所述的方法，其特征在于，所述對所述高精度三維人體模型進行預處理，生成預處理后的高精度三維人體模型，包括：

對所述高精度三維人體模型進行點云去噪處理、去除不規則紋理處理以及點云空洞修補處理中的任意一種或多種，生成預處理后的高精度三維人體模型。

3.根據權利要求1所述的方法，其特征在于，基于所述預處理后的高精度三維人體模型，對所述低精度參數化模型進行紋理烘焙，包括：

將所述低精度三維人體模型光柵化到紋理空間，對表面位置、切線基和紋理坐標進行插值；

從插值的包圍盒位置沿著所述預處理后的高精度三維人體模型的方向發射光線，對每個交點求導得到候選法線，選擇離所述包圍盒最近的候選法線作為最終法線。

4.一種虛擬數字人制作裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取目標人物的相機陣列掃描結果；

三維建模單元，用于獲取所述相機陣列中各相機的位姿信息；利用所述相機陣列中各相機的位姿信息，根據所述目標人物的相機陣列掃描結果，對所述目標人物進行三維重建，生成所述目標人物的高精度三維人體模型；

預處理單元，用于對所述高精度三維人體模型進行預處理，生成預處理后的高精度三維人體模型；

注冊單元，用于對所述預處理后的高精度三維人體模型進行低模拓撲，得到低精度參數化模型；基于所述預處理后的高精度三維人體模型，對所述低精度參數化模型進行形狀注冊、紋理注冊、紋理烘焙及網格結構的布線調整，得到低精度三維人體模型；

骨架結構綁定和蒙皮處理單元，用于對所述低精度三維人體模型進行骨架結構綁定和蒙皮處理，得到所述目標人物對應的虛擬數字人；

其中，基于所述預處理后的高精度三維人體模型，對所述低精度參數化模型進行形狀注冊，包括：

對所述低精度參數化模型進行剛性變換，將所述低精度參數化模型與所述處理后的高精度三維人體模型對齊；

基于所述預處理后的高精度三維人體模型對所述低精度參數化模型進行非剛性變換；

基于所述低精度參數化模型各組件的相對位置關系進行校準；

基于所述預處理后的高精度三維人體模型，對所述低精度參數化模型進行紋理注冊，包括：

針對低精度參數化模型的各個紋理三角面，在所述預處理后的高精度三維人體模型無序的紋理圖中搜索其覆蓋的各個區域；

對各個區域進行拼接縫合，通過插值提取對應像素值的方式，生成所述低精度參數化模型的有序紋理圖。