[發(fā)明專利]基于多視圖的物體3D形狀重建方法

有效

• 申請?zhí)枺?/td>: 202110065500.3
• 申請日: 2021-01-18
• 公開（公告）號: CN112862949B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計(jì)）人: 童超;陳榮山
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04;G06N3/08
• 代理公司: 北京卓特專利代理事務(wù)所(普通合伙) 11572
• 代理人: 田冰;陳變花

提供了基于多視圖的物體3D形狀重建方法。所提供的基于多視圖的物體三維形狀重建模型，該模型基于Pixel2Mesh的基本結(jié)構(gòu)，從增加Convlstm層、增加Graph unpooling層、設(shè)計(jì)Smooth損失函數(shù)三個(gè)方面提出了一種改進(jìn)的三維重建模型，實(shí)驗(yàn)表明，這種改進(jìn)模型具有比P2M更高的重建精度。采用上述模型，首先對shapenet數(shù)據(jù)集中的物體真實(shí)網(wǎng)格模型、渲染圖像和相機(jī)參數(shù)進(jìn)行預(yù)處理，構(gòu)建訓(xùn)練數(shù)據(jù)，然后訓(xùn)練多視圖三維重建模型，最后通過該模型重建出圖像對應(yīng)的物體形狀。

技術(shù)領(lǐng)域

本發(fā)明提出基于多視圖的物體3D形狀重建模型，屬于圖像數(shù)據(jù)處理_(G06T)及三維重建_(G06T17)領(lǐng)域。

背景技術(shù)

三維重建的主要目標(biāo)之一是從二維圖像恢復(fù)物體三維結(jié)構(gòu)。近年來，隨著虛擬現(xiàn)實(shí)、3D打印、自動駕駛、智能醫(yī)療和影視制作等產(chǎn)業(yè)的發(fā)展，人們對三維模型的需求出現(xiàn)了爆發(fā)式的增長，傳統(tǒng)的手工建模方法已難以滿足這一需求，準(zhǔn)確高效的三維重建方法成為解決這一問題的關(guān)鍵。

在三維重建領(lǐng)域，傳統(tǒng)的基于圖像的重建算法一般利用特征匹配或模式適應(yīng)等方式從圖像或視頻中恢復(fù)三維模型，然而由于圖像二維特征的歧義性和稀疏性，這類方法往往存在較大的限制，無法適應(yīng)各種場景下的重建任務(wù)，并且難以精確、魯棒地重建出三維模型。

近年來，隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，愈來愈多學(xué)者開始聚焦于研究數(shù)據(jù)驅(qū)動的三維重建算法，例如，Choy等人(https://arxiv.org/pdf/1604.00449.pdf)使用Encoder-3DLSTM-Decoder的方式構(gòu)建了體素生成的網(wǎng)絡(luò)模型；Fan等人(https://openaccess.thecvf.com/content_cvpr_2017/papers/Fan_A_Point_Set_CVPR_2017_paper.pdf)解決了訓(xùn)練點(diǎn)云網(wǎng)絡(luò)時(shí)候的損失問題，并基于此構(gòu)建了生成點(diǎn)云模型的深度網(wǎng)絡(luò)。利用深度學(xué)習(xí)技術(shù)從RGB圖像生成三維模型的研究確實(shí)取得了巨大的成功，但是這類基于體素或點(diǎn)云表示模型的方法，都存在著不可忽視的問題，體素表示的三維物體相較于二維圖像，計(jì)算量更大，需求內(nèi)存更多，往往因計(jì)算和內(nèi)存的限制，分辨率主要為32×32×32以下，因此重建后的精度往往達(dá)不到要求；而點(diǎn)云模型中的點(diǎn)由于缺少連接性，因而會缺乏物體表面信息，直觀的感受就是重建后的表面不平整。

針對體素、點(diǎn)云表示模型的這些缺陷，Wang(https://openaccess.thecvf.com/content_ECCV_2018/papers/Nanyang_Wang_Pixel2Mesh_Generating_3D_ECCV_2018_paper.pdf)提出了基于圖卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法Pixel2Mesh，可端到端的生成具有豐富表面細(xì)節(jié)的網(wǎng)格表示模型，他們初始化一個(gè)固定的橢球，之后依據(jù)圖像信息逐步形變以逼近目標(biāo)幾何形狀。但是這種基于單一視圖的方法，由于單張圖像的不適定問題，通常只能生成從輸入視角看起來合理，從其他視角看起來較差的3D網(wǎng)格形狀。

ShapeNet(https://www.shapenet.org/)是目前三維重建領(lǐng)域最為權(quán)威的數(shù)據(jù)集之一，它包含了55種常見的物品類別和513000個(gè)三維模型，并且受益于Choy的工作，該數(shù)據(jù)集中13個(gè)類別下的模型對應(yīng)著24張不同視角下的渲染圖像，并且每張渲染圖像的相機(jī)參數(shù)也被提供，因此可利用該數(shù)據(jù)集的多視圖信息，在Pixel2Mesh基礎(chǔ)上進(jìn)行改進(jìn)。

發(fā)明內(nèi)容

本發(fā)明的目的是基于深度學(xué)習(xí)的理論與方法，研究新型的、高精度的多視圖下的物體三維形狀重建模型，能夠利用物體多視角的渲染圖像信息及相機(jī)參數(shù)重建出該物體對應(yīng)的3D網(wǎng)格形狀，且該模型優(yōu)于當(dāng)前最先進(jìn)的三維重建模型。

本發(fā)明設(shè)計(jì)了一種基于多視圖的物體三維形狀重建模型，該模型基于Pixel2Mesh的基本結(jié)構(gòu)，從增加Convlstm層、增加Graph unpooling層、設(shè)計(jì)Smooth損失函數(shù)三個(gè)方面提出了一種改進(jìn)的三維重建模型，實(shí)驗(yàn)表明，這種改進(jìn)模型具有比P2M更高的重建精度。