[發明專利]基于增強現實的三維建模方法、裝置、存儲介質、設備

在審

• 申請號: 202210264954.8
• 申請日: 2022-03-17
• 公開（公告）號: CN114708382A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 程章林;武凱
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T11/20;G06T7/11;G06K9/62;G06V10/762;G06V10/774
• 代理公司: 深圳市銘粵知識產權代理有限公司 44304
• 代理人: 孫偉峰;劉燚圣

本發明公開了一種基于增強現實的三維建模方法、裝置、存儲介質、設備。三維建模方法包括：根據增強現實設備采集到的真實場景圖像生成真實場景點云，其中所述真實場景圖像包含目標對象的圖像；根據獲取到的用戶手繪動作信息和所述真實場景點云構建目標對象粗糙模型；根據所述目標對象粗糙模型從所述真實場景點云中分割出目標對象點云；利用所述目標對象點云調整所述目標對象粗糙模型，獲得目標對象精細模型。本方法充分利用場景圖像中包含的目標對象的尺度、細節信息，在用戶僅僅手繪簡單筆畫的情況下，也能獲得高精細度的模型，降低了學習成本和提高了使用舒適度。

技術領域

本發明屬于計算機圖形技術領域，具體地講，涉及一種基于增強現實的三維建模方法、三維建模裝置、計算機可讀存儲介質、計算機設備。

背景技術

三維建模是圖形學和人機交互領域中重要的研究課題，三維模型廣泛應用于游戲，制造業等領域，傳統的模型通常是通過3dmax等建模軟件在電腦屏幕上手工交互創建的，這對技術人員要求較高且費時費力。隨著VR(Virtual Reality，虛擬現實)和AR(Augmented Reality，增強現實)硬件和軟件的發展，這使得用戶能夠直接在三維環境中工作，如使用google tilt Brush這樣的產品能夠在三維環境中沉浸式的自由創作，讓建模過程變得更簡單直觀。AR技術是一種將虛擬信息與真實世界疊加融合的技術，廣泛運用了多模態數據、三維建模、智能交互、傳感等多種技術手段，將計算機生成的圖像、三維模型等虛擬信息構建仿真之后疊加到真實場景中，兩種信息相輔相成，從而增強真實的場景。在AR環境中將虛擬物體疊加在真實場景中顯示，能夠極大提升用戶的三維空間感知，便于用戶三維交互操作。同時，AR提供了在線數據采集功能，能夠無縫結合數據獲取和建模過程，從而無需離線采集數據后再開始建模。

基于草圖的建模技術的優勢在于用戶能夠的用簡單的草圖創建現實生活中存在或不存在的物體模型，以達到簡單高效的建模體驗。基于二維草圖創建模型通常采用二維屏幕空間的交互，使用鼠標或平板等設備創建二維筆畫，然后通過先驗假設推測出三維信息從而獲得三維模型。雖然這種交互方式較為準確，但是由于二維草圖缺失了深度信息，由先驗推測出的三維信息并不準確。同時這種交互不直觀，通常存在歧義。使用三維草圖創建模型的優勢在于能夠繪制三維筆畫，交互方式直觀且具體。現有的基于三維草圖的建模方法需要繪制繁雜且精確的三維筆畫。然而，由于使用手在半空中繪制時往往會因為抖動導致不精確的筆畫，創造精確的筆畫往往是一項棘手的任務。目前大部分工作提出了利用平板電腦、數字筆等輔助設備提高交互的準確性。

現有技術存在的問題在于要求繪制精細的三維筆畫才能創造較好的模型結果。如果引入額外的硬件設備提升交互精度則需要必要的學習成本，且降低了使用的舒適度。目前的方法均未使用場景數據，而這些場景數據是建模的重要信息，如他們沒有考慮到場景數據也潛在蘊含了物體的大致形狀和尺度信息。

發明內容

(一)本發明所要解決的技術問題

本發明解決的技術問題是：如何有效地利用場景點云數據提高三維模型的精確性。

(二)本發明所采用的技術方案

一種基于增強現實的三維建模方法，所述三維建模方法包括：

根據增強現實設備采集到的真實場景圖像生成真實場景點云，其中所述真實場景圖像包含目標對象的圖像；

根據獲取到的用戶手繪動作信息和所述真實場景點云構建目標對象粗糙模型；

根據所述目標對象粗糙模型從所述真實場景點云中分割出目標對象點云；

利用所述目標對象點云調整所述目標對象粗糙模型，獲得目標對象精細模型。

優選地，所述用戶手繪動作信息包括根據識別到的用戶繪制動作實時生成的若干輪廓筆畫點和若干軌跡筆畫點，所述根據獲取到的用戶手繪動作信息和所述真實場景點云生成目標對象粗糙模型的方法包括：