[發明專利]一種三維動態跟蹤方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110784787.5
• 申請日: 2021-07-12
• 公開（公告）號: CN113516781A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 華昀峰;田彥;江騰飛;許威威;段子恒;陶泓羽
• 申請（專利權）人: 先臨三維科技股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/246;G06T7/41
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 祝樂芳

本公開涉及一種三維動態跟蹤方法、裝置、電子設備和存儲介質，跟蹤方法包括：獲取人臉微笑數據、三維牙數據以及人臉模板數據；將獲取的人臉微笑數據、三維牙數據以及人臉模板數據注冊到預設坐標系下得到初始點云數據；將初始深度點云數據進行融合獲取等值面，并獲取等值面對應的目標深度點云數據；將目標深度點云數據反投影至初始紋理數據，并獲取反投影后人臉微笑數據對應的目標紋理數據；根據目標深度點云數據優化初始人臉模板點云數據獲取目標人臉模板點云數據，實現人臉表情變化跟蹤；將目標人臉模板點云數據與初始紋理數據識別的牙齒區域與初始三維牙數據在擬合區域擬合，提高三維牙齒跟蹤的準確性。

技術領域

本公開涉及三維形變技術領域，尤其涉及一種三維動態跟蹤方法、裝置、電子設備和存儲介質。

背景技術

目前，數據采集技術和三維重建技術的快速發展使得物理模型的高精度數字化成為可能。在齒科數字化領域，通過掃描和3D重建可以得到三維牙頜數字化模型，從而實現齒科產品的后續加工和定制化生產。通過三維重建技術，用戶在牙齒矯正之前，可通過三維牙齒模型看到自己的牙齒被矯正之后的效果。

現有技術中一般采用2D臉+2D牙，即根據拍攝的2D圖片，手動調節牙齒模型以獲取矯正后的牙齒，或者2D臉+3D牙，即根據拍攝的2D圖片，將3D牙模投影到圖片上的對應牙齒區域。由于2D的圖片下頜露出一般都較少，且只有在保持露牙較多的姿勢下才能實現對下頜跟蹤，因此跟蹤效果較差。此外，采用2D進行牙齒跟蹤時沒有人臉尺度信息，視覺效果一般。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本公開提供了一種三維動態跟蹤方法、裝置、電子設備和存儲介質，提高三維牙齒跟蹤的準確性。

第一方面，本公開實施例提供了一種三維動態跟蹤方法，包括：

獲取人臉微笑數據、三維牙數據以及人臉模板數據，其中，所述人臉微笑數據包括紋理數據和深度數據；

將獲取的人臉微笑數據、三維牙數據以及人臉模板數據注冊到預設坐標系下得到初始點云數據，其中，所述初始點云數據包括初始深度點云數據、初始紋理數據、初始三維牙點云數據和初始人臉模板點云數據；

將所述初始深度點云數據進行融合獲取等值面，并獲取所述等值面對應的目標深度點云數據；

將所述目標深度點云數據反投影至初始紋理數據，并獲取反投影后人臉微笑數據對應的目標紋理數據；

根據所述目標深度點云數據優化所述初始人臉模板點云數據獲取目標人臉模板點云數據，實現人臉表情變化跟蹤；

將所述目標人臉模板點云數據與所述初始紋理數據識別的牙齒區域與所述初始三維牙數據在擬合區域擬合。

可選的，所述將獲取的人臉微笑數據、三維牙數據以及人臉模板數據注冊到預設坐標系下得到初始點云數據包括：

獲取人臉微笑數據、三維牙數據以及人臉模板數據的源點云數據；

確定迭代最近點算法中的旋轉參數、平移參數以及誤差閾值；

根據旋轉參數、平移參數以及誤差閾值將源點云數據注冊到預設坐標系下得到初始點云數據。

可選的，所述將所述初始深度點云數據進行融合獲取等值面，根據所述等值面確定目標深度點云數據，包括：

采用TSDF算法獲取所述初始深度點云數據對應的截斷符號距離函數值和權重值；

根據所述截斷符號距離函數值和權重值采用水泡動畫模擬算法獲取初始深度點云數據對應的等值面；

根據所述等值面對應的點云數據確定目標深度點云數據。

可選的，所述采用TSDF算法獲取所述初始深度點云數據對應的截斷符號距離函數值和權重值，包括：