[發(fā)明專利]一種自適應(yīng)視角的級(jí)聯(lián)網(wǎng)絡(luò)三維重建方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110652493.7
• 申請日: 2021-06-11
• 公開（公告）號(hào): CN113284251B
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 王好謙;劉智方
• 申請（專利權(quán)）人: 清華大學(xué)深圳國際研究生院
• 主分類號(hào): G06T17/20
• 分類號(hào): G06T17/20
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 江耀純

本發(fā)明提出一種自適應(yīng)視角的級(jí)聯(lián)網(wǎng)絡(luò)三維重建方法及系統(tǒng)，所述重建方法主要包括系統(tǒng)初始化，攝像組合體自動(dòng)采集一到多組不同視角圖像進(jìn)行初始重建，由初始重建的點(diǎn)云和已視角拓展集合，估計(jì)加入后對(duì)重建完整性提升最有幫助的視角，控制攝像組合體進(jìn)行拍攝，加入已有圖像集合，與鄰近圖像集結(jié)合進(jìn)行深度估計(jì)，估計(jì)結(jié)果轉(zhuǎn)化為點(diǎn)云后加入現(xiàn)有候選點(diǎn)云集，重復(fù)此步驟直至滿足要求，最后基于點(diǎn)云的點(diǎn)間距離和統(tǒng)計(jì)特性進(jìn)行濾波和抑制。所述方法主要用于對(duì)靜物的三維點(diǎn)云進(jìn)行稠密重建，旨在平衡重建完整性和計(jì)算、存儲(chǔ)成本之間的矛盾，同時(shí)避免在重建過程中對(duì)高價(jià)值、難以移動(dòng)的物體造成損害。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別是一種自適應(yīng)視角的級(jí)聯(lián)網(wǎng)絡(luò)三維重建方法及系統(tǒng)。

背景技術(shù)

三維重建(3Dreconstruction)是指利用二維投影恢復(fù)物體或場景三維信息的技術(shù)，是在計(jì)算機(jī)虛擬世界中重現(xiàn)客觀物理世界的關(guān)鍵技術(shù)。

按傳感器是否主動(dòng)向被測物體發(fā)出信號(hào)，三維重建方法可分為主動(dòng)式和被動(dòng)式，主動(dòng)式方法使用編碼結(jié)構(gòu)光、飛行時(shí)間(ToF)等原理進(jìn)行重建，雖整體性能上略優(yōu)，但目前設(shè)備價(jià)格仍較為昂貴，使用場景也有較大限制；被動(dòng)式三維重建對(duì)硬件要求較低，使用普通相機(jī)采集到的RGB圖像即可進(jìn)行重建，主要基于較為成熟的視覺幾何知識(shí)，但由于環(huán)境干擾等因素一直在技術(shù)上具有較大挑戰(zhàn)性。被動(dòng)式三維重建技術(shù)根據(jù)使用的視角(圖片)數(shù)量又可分為單目重建、雙目重建和多視角重建。單目重建對(duì)先驗(yàn)知識(shí)的要求較高，重建的不確定性較大、精度較差，這是由于由二維投影恢復(fù)三維信息這一任務(wù)本身為欠定問題，在單目情況下有無窮多解，理論基礎(chǔ)上即存在缺陷；雙目重建和多視角重建(Multi-ViewStereo)引入了大量的冗余信息，通過特征匹配和三角測量在理論上可以精確獲得二維點(diǎn)對(duì)對(duì)應(yīng)的三維點(diǎn)坐標(biāo)，因此，可以獲得較完整且精確的重建結(jié)果。此外，雖在一些文章中被歸為單目重建方法，SFM(structure-from-motion)利用單目相機(jī)的移動(dòng)獲取多視角下的物體或場景圖像，實(shí)現(xiàn)了對(duì)相機(jī)位姿和目標(biāo)三維信息的同時(shí)恢復(fù)，另一些方法直接使用帶有深度信息的RGB-D圖像作為輸入，但進(jìn)行物體和場景的完整重建仍需采集和處理多視角圖像。

深度學(xué)習(xí)方法隨著近年算力的大幅提升和一批優(yōu)秀網(wǎng)絡(luò)結(jié)構(gòu)的提出，為計(jì)算機(jī)視覺領(lǐng)域的各類問題提供了一個(gè)新的處理思路，特別是2012年以來，AlexNet的問世使得各種卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)廣泛應(yīng)用于分類、檢測和分割等任務(wù)中，不斷取得突破性的進(jìn)展。深層卷積神經(jīng)網(wǎng)絡(luò)在各類計(jì)算機(jī)視覺任務(wù)上的成功，某種程度上證明了深度學(xué)習(xí)方法在三維重建中應(yīng)用的可行性，同時(shí)研究人員也期望可以借助深度學(xué)習(xí)方法提升重建精度和完整性，因此基于深度學(xué)習(xí)的三維重建近年來逐漸成為研究熱點(diǎn)之一。

當(dāng)前三維重建技術(shù)雖方法眾多，且在深度學(xué)習(xí)算法的輔助下準(zhǔn)確率和完整性大大提升，但目前仍有一些常見問題：其一，對(duì)光照敏感，當(dāng)不同角度的光照變化較大時(shí)，難以獲得可靠且密集的對(duì)應(yīng)點(diǎn)匹配；其二，重建耗時(shí)長、存儲(chǔ)成本高，多視角的重建方法雖然因可獲得更豐富的信息，重建結(jié)果較好，但同時(shí)大量的信息對(duì)算法的時(shí)間和空間效率提出了更高的要求。

發(fā)明內(nèi)容

為了解決光照會(huì)對(duì)三維重建產(chǎn)生較大影響，多視角重建耗時(shí)長、存儲(chǔ)成本高的技術(shù)問題，本發(fā)明提出一種自適應(yīng)視角的級(jí)聯(lián)網(wǎng)絡(luò)三維重建方法及系統(tǒng)。

為此，本發(fā)明提出的自適應(yīng)視角的級(jí)聯(lián)網(wǎng)絡(luò)三維重建方法具體包括如下步驟：

S1，系統(tǒng)初始化，通過攝像組合體采集一組或多組圖像對(duì)，通過解算獲得初始視角，將所得圖像輸入深度級(jí)聯(lián)三維重建網(wǎng)絡(luò)，給出多組深度圖，以所述深度圖為依據(jù)將主視圖投影到三維空間中，獲取初始點(diǎn)云候選；

S2，基于由所述步驟S1已提取的所述初始視角和所述初始點(diǎn)云候選進(jìn)行視角拓展，估計(jì)得出不完整、不確定重建區(qū)域，對(duì)每個(gè)未拓展視角，控制攝像組合體拍攝一組圖像對(duì)，對(duì)不完整、不確定區(qū)域，控制攝像組合體獲取三組該區(qū)域的圖像，進(jìn)行深度圖重建和深度圖融合，拓展及優(yōu)化點(diǎn)云，所述步驟S2重復(fù)多次以滿足完整性和精確性要求；