[發(fā)明專利]三維重建方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011609669.2
• 申請日: 2020-12-28
• 公開（公告）號: CN112700533B
• 公開（公告）日: 2023-10-03
• 發(fā)明（設(shè)計）人: 姜秀寶
• 申請（專利權(quán)）人: 北京達佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G16H50/50
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責任公司 11240
• 代理人: 黃海英

本公開關(guān)于一種三維重建方法、裝置、電子設(shè)備及存儲介質(zhì)，該方法包括：獲取目標臉部模型、預(yù)設(shè)頭部骨骼模型以及與預(yù)設(shè)頭部骨骼模型匹配的預(yù)設(shè)牙齒牙床模型，其中，預(yù)設(shè)頭部骨骼模型中至少包括：預(yù)設(shè)頜骨模型和預(yù)設(shè)頭骨模型；基于目標臉部模型對預(yù)設(shè)頭部骨骼模型進行擬合，得到預(yù)設(shè)頭部骨骼模型的擬合位置；根據(jù)預(yù)設(shè)頭部骨骼模型的擬合位置、以及預(yù)設(shè)頭部骨骼模型和預(yù)設(shè)牙齒牙床模型之間的位置對應(yīng)關(guān)系，確定預(yù)設(shè)牙齒牙床模型的擬合位置；基于預(yù)設(shè)牙齒牙床模型的擬合位置，對預(yù)設(shè)牙齒牙床模型的頂點進行位置轉(zhuǎn)換，得到目標牙齒牙床模型。本公開至少解決相關(guān)技術(shù)中難以準確構(gòu)建人臉三維模型的口腔結(jié)構(gòu)的問題。

技術(shù)領(lǐng)域

本公開涉及骨骼模型構(gòu)建技術(shù)領(lǐng)域，尤其涉及一種三維重建方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著虛擬現(xiàn)實技術(shù)在各行各業(yè)的廣泛應(yīng)用，重建三維人體模型的技術(shù)發(fā)展迅速，三維人臉模型作為三維人體模型的重要組成，其重建也已經(jīng)成為較為成熟的技術(shù)。

但是，由于通常受限于三維重建算法的限制，重建出的人臉模型通常沒有相應(yīng)的口腔內(nèi)部結(jié)構(gòu)。因而，當驅(qū)動虛擬角色對應(yīng)的三維人臉模型做出如張嘴，大笑等動作時，如果不對虛擬角色的牙齒、牙床等口腔內(nèi)部結(jié)構(gòu)進行渲染，將大大影響虛擬角色表演的質(zhì)量。

為了解決這一問題，相關(guān)技術(shù)中出現(xiàn)了根據(jù)多視角視覺圖片獲取圖片之間的像素對應(yīng)關(guān)系，計算相機相對位姿和稀疏三維點云，從而通過點云轉(zhuǎn)三角網(wǎng)格的方式得到物體的三維模型的方式重建口腔內(nèi)部結(jié)構(gòu)，但是，由于人的口腔內(nèi)部結(jié)構(gòu)通常很難完整地同時被多個相機觀測到，因此難以重建精確的口腔內(nèi)部結(jié)構(gòu)。

針對相關(guān)技術(shù)中難以準確構(gòu)建人臉三維模型的口腔結(jié)構(gòu)的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本公開提供一種三維重建方法、裝置、電子設(shè)備及存儲介質(zhì)，以至少解決相關(guān)技術(shù)中難以準確構(gòu)建人臉三維模型的口腔結(jié)構(gòu)的問題。本公開的技術(shù)方案如下：

根據(jù)本公開實施例的第一方面，提供一種三維重建方法，包括：獲取目標臉部模型、預(yù)設(shè)頭部骨骼模型以及與預(yù)設(shè)頭部骨骼模型匹配的預(yù)設(shè)牙齒牙床模型，其中，預(yù)設(shè)頭部骨骼模型中至少包括：預(yù)設(shè)頜骨模型和預(yù)設(shè)頭骨模型；基于目標臉部模型對預(yù)設(shè)頭部骨骼模型進行擬合，得到預(yù)設(shè)頭部骨骼模型的擬合位置；根據(jù)預(yù)設(shè)頭部骨骼模型的擬合位置、以及預(yù)設(shè)頭部骨骼模型和預(yù)設(shè)牙齒牙床模型之間的位置對應(yīng)關(guān)系，確定預(yù)設(shè)牙齒牙床模型的擬合位置；基于預(yù)設(shè)牙齒牙床模型的擬合位置，對預(yù)設(shè)牙齒牙床模型的頂點進行位置轉(zhuǎn)換，得到目標牙齒牙床模型。

可選地，基于目標臉部模型對預(yù)設(shè)頭部骨骼模型進行擬合，得到預(yù)設(shè)頭部骨骼模型的擬合位置包括：通過目標轉(zhuǎn)換關(guān)系對預(yù)設(shè)頭部骨骼模型的各個頂點的位置進行轉(zhuǎn)換，得到預(yù)設(shè)頭部骨骼模型的各個轉(zhuǎn)換后的頂點、以及各個轉(zhuǎn)換后的頂點的位置，其中，目標轉(zhuǎn)換關(guān)系用于表征預(yù)設(shè)頭部骨骼模型與目標臉部模型對應(yīng)的目標頭部骨骼模型之間的位置轉(zhuǎn)換關(guān)系；對預(yù)設(shè)頭部骨骼模型的各個轉(zhuǎn)換后的頂點進行迭代形變，得到各個轉(zhuǎn)換后的頂點的形變位移；在每個轉(zhuǎn)換后的頂點對應(yīng)預(yù)設(shè)頭部骨骼模型表面的法向上，對轉(zhuǎn)換后的頂點的位置移動形變位移對應(yīng)的距離，得到轉(zhuǎn)換后的頂點的目標位置，并由各個轉(zhuǎn)換后的頂點的目標位置構(gòu)成預(yù)設(shè)頭部骨骼模型的擬合位置。

可選地，對預(yù)設(shè)頭部骨骼模型的各個轉(zhuǎn)換后的頂點進行迭代形變，得到各個轉(zhuǎn)換后的頂點的形變位移包括：以各個轉(zhuǎn)換后的頂點的薄殼形變能量最小、且各個轉(zhuǎn)換后的頂點的形變位移與頂點對應(yīng)的皮膚厚度調(diào)整值的差值之和最小為目標，對各個轉(zhuǎn)換后的頂點進行迭代形變，得到各個轉(zhuǎn)換后的頂點的形變位移，其中，每個轉(zhuǎn)換后的頂點對應(yīng)的皮膚厚度調(diào)整值由轉(zhuǎn)換后的頂點到目標臉部模型的皮膚表層頂點的距離、以及目標臉部模型對應(yīng)的皮膚厚度范圍區(qū)間確定。