[發(fā)明專利]三維重建方法及裝置

在審

• 申請?zhí)枺?/td>: 201910741648.7
• 申請日: 2019-08-12
• 公開（公告）號(hào): CN110490917A
• 公開（公告）日: 2019-11-22
• 發(fā)明（設(shè)計(jì)）人: 宋波
• 申請（專利權(quán)）人: 北京影譜科技股份有限公司
• 主分類號(hào): G06T7/50
• 分類號(hào): G06T7/50
• 代理公司: 11694 北京萬思博知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 孫黎生<國際申請>=<國際公布>=<進(jìn)入

1.一種三維重建方法，包括：

對輸入的圖片數(shù)據(jù)進(jìn)行去渲染，得到圖像稠密區(qū)域的原始點(diǎn)云數(shù)據(jù)；

從所述原始點(diǎn)云數(shù)據(jù)中選定一個(gè)或多個(gè)圖像點(diǎn)作為當(dāng)前根節(jié)點(diǎn)，以所述當(dāng)前根節(jié)點(diǎn)為中心，按照預(yù)定半徑對所述原始點(diǎn)云進(jìn)行掃描劃分，將掃描到的圖像點(diǎn)作為所述當(dāng)前根節(jié)點(diǎn)的葉子節(jié)點(diǎn)進(jìn)行存儲(chǔ)，再以各個(gè)所述葉子節(jié)點(diǎn)為當(dāng)前根節(jié)點(diǎn)，按照預(yù)定半徑，繼續(xù)對原始點(diǎn)云進(jìn)行掃描劃分，將掃描到的圖像點(diǎn)作為各個(gè)所述當(dāng)前根節(jié)點(diǎn)的葉子節(jié)點(diǎn)，循環(huán)遞歸，直到得到以八叉樹的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)的點(diǎn)云數(shù)據(jù)；

將以八叉樹的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)的所述點(diǎn)云數(shù)據(jù)輸入到訓(xùn)練好的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行感興趣區(qū)域Rol的卷積運(yùn)算，輸出所述點(diǎn)云數(shù)據(jù)中與所述區(qū)域神經(jīng)卷積網(wǎng)絡(luò)中訓(xùn)練好的模型的特征類似的感興趣區(qū)域的特征數(shù)據(jù)，其中，所述區(qū)域神經(jīng)卷積網(wǎng)絡(luò)輸出的所述感興趣區(qū)域的特征數(shù)據(jù)以所述感興趣區(qū)域內(nèi)的目標(biāo)對象的中心為坐標(biāo)原點(diǎn)；

將所述區(qū)域卷積神經(jīng)網(wǎng)絡(luò)輸出的所述感興趣區(qū)域的特征數(shù)據(jù)輸入到池化層進(jìn)行池化，以降低表征所述感興趣區(qū)域內(nèi)的目標(biāo)對象的特征數(shù)據(jù)，獲取池化后的所述感興趣區(qū)域的特征數(shù)據(jù)；

利用預(yù)先對所述訓(xùn)練好的模型預(yù)測的損失函數(shù)，識(shí)別所述感興趣區(qū)域中的所述目標(biāo)對象的三維重建損失；

利用預(yù)先定義的將物體從以相機(jī)為中心變換到以物體為中心的坐標(biāo)變換的損失函數(shù)，識(shí)別所述感興趣區(qū)域中的所述目標(biāo)對象的特征數(shù)據(jù)在所述區(qū)域卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行坐標(biāo)變換所導(dǎo)致的坐標(biāo)變換損失；

獲取由于相機(jī)在捕獲所述輸入的圖片數(shù)·據(jù)時(shí)沒有直接觀察所述感興趣區(qū)域中的所述目標(biāo)對象為中心所導(dǎo)致的透視畸變；

按照預(yù)定算法，恢復(fù)所述感興趣區(qū)域中的所述目標(biāo)對象的以所述相機(jī)為中心的位姿；

根據(jù)所述目標(biāo)對象的以所述相機(jī)為中心的位姿、所述坐標(biāo)變換損失和所述透視畸變，對所述目標(biāo)對象進(jìn)行三維位姿預(yù)測，得到所述目標(biāo)對象的位姿角度；

根據(jù)所述感興趣區(qū)域形成的圖像、所述坐標(biāo)變換損失和所述透視畸變，對所述目標(biāo)對象進(jìn)行三維形狀預(yù)測，得到所述目標(biāo)對象的三維形狀；

結(jié)合所述三維重建損失、所述坐標(biāo)變換損失和所述目標(biāo)對象的位姿角度和目標(biāo)對象的三維形狀，得到所述目標(biāo)對象的三維特征數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將所述區(qū)域卷積神經(jīng)網(wǎng)絡(luò)輸出的感興趣區(qū)域的特征數(shù)據(jù)輸入到池化層進(jìn)行池化之后，識(shí)別所述感興趣區(qū)域中的所述目標(biāo)對象的三維重建損失之前，所述方法還包括：

將池化后的所述感興趣區(qū)域的特征數(shù)據(jù)輸入到深度卷積神經(jīng)網(wǎng)絡(luò)，獲取所述深度卷積神經(jīng)網(wǎng)絡(luò)輸出的所述感興趣區(qū)域的特征數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在得到所述目標(biāo)對象的三維特征數(shù)據(jù)之后，所述方法還包括：

將所述目標(biāo)對象的三維特征數(shù)據(jù)與預(yù)先存儲(chǔ)的所述目標(biāo)對象的真實(shí)值進(jìn)行對比，對所述目標(biāo)對象的三維特征數(shù)據(jù)進(jìn)行優(yōu)化。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，根據(jù)所述感興趣區(qū)域形成的圖像、所述坐標(biāo)變換損失和所述透視畸變，對所述目標(biāo)對象進(jìn)行三維形狀預(yù)測，得到所述目標(biāo)對象的三維形狀，包括：

根據(jù)所述感興趣區(qū)域形成的圖像、所述坐標(biāo)變換損失和所述透視畸變，進(jìn)行三維形狀預(yù)測，得到所述目標(biāo)對象的三維形狀參數(shù)；

將所述目標(biāo)對象的三維形狀參數(shù)與預(yù)設(shè)的所述訓(xùn)練好的模型的各個(gè)形狀對應(yīng)的形狀參數(shù)進(jìn)行比較，將形狀參數(shù)與所述目標(biāo)對象的三維形狀參數(shù)最接近的形狀作為所述目標(biāo)對象的三維形狀。

5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的方法，其特征在于，按照預(yù)定算法，恢復(fù)所述感興趣區(qū)域中的所述目標(biāo)對象的以所述相機(jī)為中心的位姿，包括：

選取所述感興趣區(qū)域中的所述目標(biāo)對象的中心點(diǎn)C，按照以下方式得到所述目標(biāo)對象的以所述相機(jī)為中心的位姿P_E：

其中，R＝R_C×R_V，t＝R_C×[0，0，d]^T，d為所述目標(biāo)對象距所述相機(jī)的距離，其中，R_C為所述相機(jī)的主軸到穿過所述目標(biāo)對象的中心點(diǎn)C的旋轉(zhuǎn)矩陣，且R_V為視點(diǎn)V的旋轉(zhuǎn)矩陣形式，k_C為所述相機(jī)的內(nèi)參。