[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的單張圖像3D對(duì)象重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910270322.0
• 申請(qǐng)日: 2019-04-04
• 公開(kāi)（公告）號(hào): CN110070595B
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 王雁剛;趙子萌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 東南大學(xué)深圳研究院;東南大學(xué)
• 主分類(lèi)號(hào): G06T15/00
• 分類(lèi)號(hào): G06T15/00;G06N3/04
• 代理公司: 南京蘇高專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的單張圖像3D對(duì)象重建方法，包括：1、輸入包含多對(duì)象的單彩色圖像；2、利用預(yù)訓(xùn)練的RPN，輸出指定類(lèi)別的域候選的各個(gè)區(qū)域；3、將各區(qū)域并行送入形狀?姿態(tài)預(yù)測(cè)子網(wǎng)絡(luò)；4、預(yù)測(cè)出原對(duì)象在三維空間中的形狀參數(shù)和姿態(tài)參數(shù)；5、形狀采樣子網(wǎng)絡(luò)根據(jù)形狀參數(shù)解碼出對(duì)應(yīng)形狀空間的點(diǎn)云模型；6、對(duì)生成的點(diǎn)云模型進(jìn)行姿態(tài)參數(shù)進(jìn)行剛性變換；7、輸出該區(qū)域所包含對(duì)象的結(jié)構(gòu)、姿態(tài)三維重建結(jié)果。本發(fā)明選取了點(diǎn)云模型作為與網(wǎng)絡(luò)結(jié)構(gòu)交互的三維數(shù)據(jù)表示，使得網(wǎng)絡(luò)對(duì)3D數(shù)據(jù)具備更好的理解能力，同時(shí)利用“采樣點(diǎn)數(shù)”而非“采樣量化單元大小”進(jìn)行精度控制，可以更好的控制復(fù)雜度，且保證了對(duì)象剛性運(yùn)動(dòng)中的不變性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)、機(jī)器學(xué)習(xí)領(lǐng)域，具體涉及一種根據(jù)單張圖像信息進(jìn)行三維結(jié)構(gòu)、姿態(tài)重建的方法。

背景技術(shù)

在當(dāng)前的圖形學(xué)技術(shù)下，根據(jù)給定對(duì)象的給定視角，計(jì)算機(jī)可以生成不同模擬光照環(huán)境下該3D對(duì)象的2D渲染圖。而與其對(duì)應(yīng)的反向過(guò)程——根據(jù)已有的2D渲染圖對(duì)原3D對(duì)象進(jìn)行結(jié)構(gòu)恢復(fù)也在很多場(chǎng)景下，如自動(dòng)駕駛，虛擬現(xiàn)實(shí)技術(shù)(VR)也有廣闊的需求和深遠(yuǎn)的研究意義。

截至目前，基于圖像的3D重建方法已經(jīng)取得了較多的研究成果。概括起來(lái)可以分為三大類(lèi)：1)根據(jù)RGB圖像集合進(jìn)行場(chǎng)景重建。根據(jù)多視點(diǎn)幾何，理想情況下3D結(jié)構(gòu)可以通過(guò)充足的2D圖像通過(guò)匹配實(shí)現(xiàn)重建，如SfM和SLAM。2)根據(jù)單張RGB圖像進(jìn)行場(chǎng)景重建。3)根據(jù)RGBD圖像進(jìn)行場(chǎng)景重建。方法一在機(jī)器人對(duì)未知環(huán)境的探索與導(dǎo)航中取得了更好的效果，但它在初期準(zhǔn)備時(shí)繁重的相機(jī)標(biāo)定工作、算法中大量的復(fù)雜運(yùn)算和技巧以至于難以實(shí)時(shí)重建。方法三經(jīng)過(guò)RGBD攝像頭問(wèn)世后相關(guān)算法的提出、RGBD圖像的數(shù)據(jù)集增多，也有了很大進(jìn)展。但是在重建的魯棒性、形狀的恢復(fù)質(zhì)量上，這些工作仍然存在諸多問(wèn)題；另外在硬件成本上，深度攝像頭高于普通設(shè)備。因此，在算法的復(fù)雜性與硬件上的不成熟，限制了上述兩種方法在日常生活中活動(dòng)場(chǎng)景下的使用；相比之下，方法二面向普通相機(jī)生成場(chǎng)景單張圖像，如果結(jié)合當(dāng)前數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)方法，將會(huì)在實(shí)時(shí)性、低成本性、便捷性等眾多方面勝出。然而這一方法在諸多方面同樣存在亟待解決的難點(diǎn)：1)投影是非可逆變換，這一問(wèn)題本身具有不適定性；2)眾多三維對(duì)象表示方法各有利弊，必須根據(jù)問(wèn)題確定合適的表示方法，并將現(xiàn)有的學(xué)習(xí)模型做適當(dāng)改進(jìn)以適應(yīng)新的問(wèn)題；3)在新問(wèn)題下，必須設(shè)計(jì)新的損失函數(shù)，可以合理評(píng)估生成3D模型與目標(biāo)之間的差異；4)在復(fù)雜場(chǎng)景中，提高模型的魯棒性需要顯著提升，才可以將方法真正投入使用。

發(fā)明內(nèi)容

發(fā)明目的：為了解決現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明的目的是提供一種基于單目彩色相機(jī)的剛體動(dòng)態(tài)三維重建方法，能夠僅使用普通的彩色相機(jī)，實(shí)時(shí)對(duì)場(chǎng)景中預(yù)先指定類(lèi)別的剛性對(duì)象進(jìn)行結(jié)構(gòu)、姿態(tài)的三維重建。

技術(shù)方案：一種基于深度學(xué)習(xí)的單張圖像3D對(duì)象重建方法，包括如下步驟：

步驟1，輸入包含多對(duì)象的單彩色圖像；

步驟2，利用預(yù)訓(xùn)練的RPN，輸出指定類(lèi)別的域候選的各個(gè)區(qū)域；

步驟3，將各個(gè)區(qū)域作為輸入，并行送入形狀-姿態(tài)預(yù)測(cè)子網(wǎng)絡(luò)；

步驟4，形狀-姿態(tài)預(yù)測(cè)子網(wǎng)絡(luò)根據(jù)輸入?yún)^(qū)域，預(yù)測(cè)出原對(duì)象在三維空間中的形狀參數(shù)和姿態(tài)參數(shù)；

步驟5，形狀采樣子網(wǎng)絡(luò)根據(jù)形狀參數(shù)，解碼出對(duì)應(yīng)形狀空間的點(diǎn)云模型；

步驟6，按照步驟4輸出的姿態(tài)參數(shù)，對(duì)生成的點(diǎn)云模型進(jìn)行姿態(tài)參數(shù)進(jìn)行剛性變換；

步驟7，輸出該區(qū)域所包含對(duì)象的結(jié)構(gòu)、姿態(tài)三維重建結(jié)果。

具體的，采用端到端的方式訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

步驟1中，所述單張彩色圖像包含在常見(jiàn)視角的一個(gè)或多個(gè)指定對(duì)象。