[發(fā)明專利]基于增強(qiáng)現(xiàn)實(shí)的三維建模方法、裝置、存儲(chǔ)介質(zhì)、設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210264954.8
• 申請(qǐng)日: 2022-03-17
• 公開（公告）號(hào): CN114708382A
• 公開（公告）日: 2022-07-05
• 發(fā)明（設(shè)計(jì)）人: 程章林;武凱
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T11/20;G06T7/11;G06K9/62;G06V10/762;G06V10/774
• 代理公司: 深圳市銘粵知識(shí)產(chǎn)權(quán)代理有限公司 44304
• 代理人: 孫偉峰;劉燚圣

1.一種基于增強(qiáng)現(xiàn)實(shí)的三維建模方法，其特征在于，所述三維建模方法包括：

根據(jù)增強(qiáng)現(xiàn)實(shí)設(shè)備采集到的真實(shí)場(chǎng)景圖像生成真實(shí)場(chǎng)景點(diǎn)云，其中所述真實(shí)場(chǎng)景圖像包含目標(biāo)對(duì)象的圖像；

根據(jù)獲取到的用戶手繪動(dòng)作信息和所述真實(shí)場(chǎng)景點(diǎn)云構(gòu)建目標(biāo)對(duì)象粗糙模型；

根據(jù)所述目標(biāo)對(duì)象粗糙模型從所述真實(shí)場(chǎng)景點(diǎn)云中分割出目標(biāo)對(duì)象點(diǎn)云；

利用所述目標(biāo)對(duì)象點(diǎn)云調(diào)整所述目標(biāo)對(duì)象粗糙模型，獲得目標(biāo)對(duì)象精細(xì)模型。

2.根據(jù)權(quán)利要求1所述的基于增強(qiáng)現(xiàn)實(shí)的三維建模方法，其特征在于，所述用戶手繪動(dòng)作信息包括根據(jù)識(shí)別到的用戶繪制動(dòng)作實(shí)時(shí)生成的若干輪廓筆畫點(diǎn)和若干軌跡筆畫點(diǎn)，所述根據(jù)獲取到的用戶手繪動(dòng)作信息和所述真實(shí)場(chǎng)景點(diǎn)云生成目標(biāo)對(duì)象粗糙模型的方法包括：

在生成輪廓筆畫點(diǎn)時(shí)，從所述真實(shí)場(chǎng)景點(diǎn)云中檢索出輪廓匹配點(diǎn)，將各個(gè)所述輪廓筆畫點(diǎn)吸附至所述輪廓匹配點(diǎn)，以形成輪廓筆畫；

在生成軌跡筆畫點(diǎn)時(shí)，從所述真實(shí)場(chǎng)景點(diǎn)云中檢索出軌跡匹配點(diǎn)，將各個(gè)所述軌跡筆畫點(diǎn)吸附至所述軌跡匹配點(diǎn)，以形成軌跡筆畫；

根據(jù)所述輪廓筆畫和所述軌跡筆畫生成目標(biāo)對(duì)象粗糙模型。

3.根據(jù)權(quán)利要求2所述的基于增強(qiáng)現(xiàn)實(shí)的三維建模方法，其特征在于，在生成輪廓筆畫點(diǎn)時(shí)，從所述真實(shí)場(chǎng)景點(diǎn)云中檢索出輪廓匹配點(diǎn)的方法包括：

從所述真實(shí)場(chǎng)景點(diǎn)云中篩選出候選點(diǎn)集，所述候選點(diǎn)集中的各個(gè)點(diǎn)與所述輪廓筆畫點(diǎn)的距離均小于預(yù)定值；

判斷所述候選點(diǎn)集中是否存在邊緣點(diǎn)；

若存在則將與所述輪廓筆畫點(diǎn)距離最小的邊緣點(diǎn)作為輪廓匹配點(diǎn)；

若不存在則所述候選點(diǎn)集中與所述輪廓筆畫點(diǎn)距離最小的點(diǎn)作為輪廓匹配點(diǎn)。

4.根據(jù)權(quán)利要求2所述的基于增強(qiáng)現(xiàn)實(shí)的三維建模方法，其特征在于，根據(jù)所述目標(biāo)對(duì)象粗糙模型從所述真實(shí)場(chǎng)景點(diǎn)云中分割出目標(biāo)對(duì)象點(diǎn)云的方法包括：

根據(jù)所述目標(biāo)對(duì)象粗糙模型確定候選空間區(qū)域，所述目標(biāo)對(duì)象處于所述候選空間區(qū)域內(nèi)；

對(duì)所述候選空間區(qū)域內(nèi)中的點(diǎn)云進(jìn)行聚類處理，形成若干點(diǎn)云簇；

將點(diǎn)云數(shù)量大于預(yù)定數(shù)量的部分所述點(diǎn)云簇作為候選點(diǎn)云簇；

計(jì)算軌跡筆畫與各個(gè)所述候選點(diǎn)云簇之間的空間距離，其中所述空間距離為所述軌跡筆畫的每個(gè)筆畫點(diǎn)與候選點(diǎn)云簇最近距離之和；

將空間距離最小的候選點(diǎn)云簇作為目標(biāo)對(duì)象點(diǎn)云。

5.根據(jù)權(quán)利要求4所述的基于增強(qiáng)現(xiàn)實(shí)的三維建模方法，其特征在于，利用所述目標(biāo)對(duì)象點(diǎn)云優(yōu)化所述目標(biāo)對(duì)象粗糙模型，獲得目標(biāo)對(duì)象精細(xì)模型的方法包括：

預(yù)測(cè)得到所述目標(biāo)對(duì)象粗糙模型的模型類型；

按照根據(jù)所述模型類型對(duì)所述目標(biāo)對(duì)象粗糙模型進(jìn)行參數(shù)化處理，獲得初始參數(shù)；

根據(jù)所述初始參數(shù)和所述目標(biāo)對(duì)象點(diǎn)云構(gòu)建距離目標(biāo)函數(shù)；

采用最小二乘法對(duì)所述距離目標(biāo)函數(shù)進(jìn)行最小化處理，獲得優(yōu)化參數(shù)；

根據(jù)所述優(yōu)化參數(shù)構(gòu)建得到目標(biāo)對(duì)象精細(xì)模型。

6.根據(jù)權(quán)利要求5所述的基于增強(qiáng)現(xiàn)實(shí)的三維建模方法，其特征在于，所述獲取所述目標(biāo)對(duì)象粗糙模型的預(yù)測(cè)模型類型的方法包括：

將形成的輪廓筆畫和軌跡筆畫分別輸入到預(yù)先訓(xùn)練好的預(yù)測(cè)模型中，預(yù)測(cè)得到輪廓筆畫類型和軌跡筆畫類型；

根據(jù)所述輪廓筆畫類型和軌跡筆畫類型預(yù)測(cè)得到目標(biāo)對(duì)象粗糙模型的模型類型。

7.根據(jù)權(quán)利要求6所述的基于增強(qiáng)現(xiàn)實(shí)的三維建模方法，其特征在于，所述三維建模方法還包括：

根據(jù)預(yù)測(cè)得到的所述輪廓筆畫類型對(duì)所述輪廓筆畫的形狀進(jìn)行優(yōu)化。