[發(fā)明專利]通過(guò)3D模型重建進(jìn)行網(wǎng)格簡(jiǎn)化

有效

• 申請(qǐng)?zhí)枺?/td>: 201680022451.2
• 申請(qǐng)日: 2016-04-05
• 公開(kāi)（公告）號(hào): CN107533771B
• 公開(kāi)（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: M·莊;D·B·林賽
• 申請(qǐng)（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類(lèi)號(hào): G06T17/20
• 分類(lèi)號(hào): G06T17/20;G06T15/20;G06T7/40;G06T7/60;G06T17/00;G06T15/04;G06T15/40;G06K9/52;G06T19/00
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 段登新;胡利鳴

本文描述了用于提供基于柵格的網(wǎng)格抽取的概念和技術(shù)。一般性地來(lái)描述，處理定義模型的輸入數(shù)據(jù)以從眾多角度將模型渲染為深度圖。通過(guò)從眾多視角捕捉深度圖數(shù)據(jù)，從該眾多視角可見(jiàn)的模型的組件被捕捉在深度圖數(shù)據(jù)中，并且被可見(jiàn)組件阻擋的組件不被捕捉在深度圖數(shù)據(jù)中。點(diǎn)云數(shù)據(jù)是通過(guò)合并從多個(gè)視角捕捉的深度圖數(shù)據(jù)生成的。通過(guò)將表面重建應(yīng)用于點(diǎn)云數(shù)據(jù)來(lái)生成輸出網(wǎng)格數(shù)據(jù)。一個(gè)或多個(gè)網(wǎng)格抽取算法可被應(yīng)用于網(wǎng)格數(shù)據(jù)。圖像數(shù)據(jù)也可以從輸入數(shù)據(jù)捕捉并應(yīng)用于輸出網(wǎng)格數(shù)據(jù)。

背景技術(shù)

存在不斷增長(zhǎng)的與利用三維(3D)顯示技術(shù)的計(jì)算設(shè)備進(jìn)行交互的用戶群體。一些3D模型可能非常復(fù)雜并且具有非常高的多邊形計(jì)數(shù)，有時(shí)如此多以致在有實(shí)時(shí)性能和存儲(chǔ)器約束的情況下難以渲染。為了解決這些約束中的一些，網(wǎng)格抽取算法(mesh decimationalgorithm)用于創(chuàng)建具有減少的多邊形計(jì)數(shù)的3D模型的簡(jiǎn)化版本。盡管減少的多邊形計(jì)數(shù)可能有助于某些性能和計(jì)算資源問(wèn)題，但是這些技術(shù)具有多項(xiàng)缺點(diǎn)。減少的多邊形計(jì)數(shù)可能在建模對(duì)象的不適當(dāng)位置產(chǎn)生孔和間隙，還存在其它問(wèn)題。

在一個(gè)說(shuō)明性示例中，3D網(wǎng)格數(shù)據(jù)可以包括多個(gè)組件，諸如組成立方體的表面的多個(gè)三角形。定義三角形的數(shù)據(jù)可以不指示某些三角形已連接。例如，3D網(wǎng)格數(shù)據(jù)可以定義組成立方體的正面的三角形，然而該數(shù)據(jù)可能不指示所述三角形是否連接。這樣的數(shù)據(jù)被稱為“多邊形湯”。傳統(tǒng)的網(wǎng)格抽取技術(shù)在處理這些數(shù)據(jù)時(shí)可能不會(huì)有效減少多邊形的數(shù)量，因?yàn)橐瞥S機(jī)組件可能移除突出的組件(salient components)，諸如組成立方體的正面的一個(gè)或多個(gè)三角形。此外，傳統(tǒng)的網(wǎng)格抽取技術(shù)可能無(wú)法移除隱藏的組件，例如內(nèi)部組件。這樣的結(jié)果可能不是合需的，因?yàn)檫@樣的技術(shù)可能會(huì)留下不想要的孔或甚至可能以不可識(shí)別的形式渲染對(duì)象。

本文所做出的本公開(kāi)正是關(guān)于這些和其它考慮事項(xiàng)而提出的。

概述

本文描述了用于提供基于柵格(raster)的網(wǎng)格抽取的概念和技術(shù)。一般性地來(lái)描述，處理定義模型的輸入數(shù)據(jù)以從眾多角度將模型渲染為深度圖。角度的位置和/或角度的數(shù)量基于一個(gè)或多個(gè)因素，包括在輸入數(shù)據(jù)和/或其它上下文信息中定義的特性。通過(guò)從眾多視角捕捉深度圖數(shù)據(jù)，從該眾多視角可見(jiàn)的模型的組件被捕捉在深度圖數(shù)據(jù)中，并且被可見(jiàn)組件阻擋的組件不被捕捉在深度圖數(shù)據(jù)中。點(diǎn)云數(shù)據(jù)是通過(guò)合并從眾多視角捕捉的深度圖數(shù)據(jù)生成的。通過(guò)將表面重建應(yīng)用于點(diǎn)云數(shù)據(jù)來(lái)生成網(wǎng)格數(shù)據(jù)。網(wǎng)格抽取算法可被應(yīng)用于網(wǎng)格數(shù)據(jù)。在一些配置中，本文所描述的技術(shù)還可以渲染所述模型以從眾多視角生成圖像數(shù)據(jù)。可使用所述圖像數(shù)據(jù)紋理化或以其它方式補(bǔ)充所述網(wǎng)格數(shù)據(jù)。

應(yīng)當(dāng)理解，上述主題也可被實(shí)現(xiàn)為計(jì)算機(jī)控制的裝置、計(jì)算機(jī)進(jìn)程、計(jì)算系統(tǒng)或諸如計(jì)算機(jī)可讀介質(zhì)等制品。通過(guò)閱讀下面的詳細(xì)描述并審閱相關(guān)聯(lián)的附圖，這些及各種其它特征將變得顯而易見(jiàn)。

提供本概述以便以簡(jiǎn)化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在將本概述用來(lái)限制所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開(kāi)的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。

附圖簡(jiǎn)述

圖1是示出用于提供基于柵格的網(wǎng)格抽取的若干示例組件的框圖；

圖2示出了由包括幾何數(shù)據(jù)的樣本輸入數(shù)據(jù)定義的模型；

圖3A示出了用于捕捉模型的深度圖(depth map)數(shù)據(jù)的多個(gè)視角；

圖3B示出了用于捕捉模型的圖像數(shù)據(jù)的多個(gè)視角；

圖4A示出了基于從深度圖數(shù)據(jù)生成的點(diǎn)云數(shù)據(jù)(point cloud data)的模型的表示；

圖4B示出了基于從點(diǎn)云數(shù)據(jù)的表面重建生成的網(wǎng)格數(shù)據(jù)的模型的表示；

圖4C示出了基于圖像數(shù)據(jù)的模型的紋理化表示；