[發(fā)明專利]一種基于全景視頻的稠密三維重構(gòu)方法

有效

• 申請?zhí)枺?/td>: 201910642181.0
• 申請日: 2019-07-16
• 公開（公告）號: CN110544294B
• 公開（公告）日: 2023-09-01
• 發(fā)明（設(shè)計）人: 高路房;黃偉冰;林彥好;傅晟;張威
• 申請（專利權(quán)）人: 深圳進(jìn)化動力數(shù)碼科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/50;G06T7/70;G06T7/90
• 代理公司: 深圳壹舟知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44331
• 代理人: 寇闖

本發(fā)明公開了一種基于全景視頻的稠密三維重構(gòu)方法，1、利用全景視頻中的第三特征點(diǎn)構(gòu)建半稠密點(diǎn)云：選取全景視頻關(guān)鍵幀中的第一特征點(diǎn)，在[0，1]內(nèi)進(jìn)行初始化，獲得第二特征點(diǎn)，利用第二特征點(diǎn)在關(guān)鍵幀與目標(biāo)幀上的投影誤差估計相機(jī)姿態(tài)信息，根據(jù)姿態(tài)信息重新估計關(guān)鍵幀第二特征點(diǎn)的深度值及其置信度數(shù)值，獲取第三特征點(diǎn)，將第三特征點(diǎn)映射到世界坐標(biāo)系；2、對半稠密點(diǎn)云進(jìn)行過濾處理；3、利用德勞內(nèi)算法對剩余特征點(diǎn)進(jìn)行三角重構(gòu)；實(shí)施本發(fā)明，通過利用高置信度特征點(diǎn)構(gòu)建半稠密點(diǎn)云，并根據(jù)置信度高低選取自由空間四面體集合，利用德勞內(nèi)三角化算法進(jìn)行三角重構(gòu)，獲取了較為平滑的全景視頻三維模型。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，特別涉及一種基于全景視頻的稠密三維重構(gòu)方法。

背景技術(shù)

三維建模一直是計算機(jī)視覺的熱點(diǎn)研究領(lǐng)域，是獲取物體模型和三維場景的重要手段。人們獲取物體三維信息的手段有很多種，比如傳統(tǒng)的幾何造型技術(shù)，此方法需要的專業(yè)水平和大工作量。利用三維掃描設(shè)備進(jìn)行三維重建，如使用激光掃描儀、結(jié)構(gòu)光等進(jìn)行三維重建。利用掃描設(shè)備進(jìn)行三維重建的方法比較方便，而且在精度上比較精確，費(fèi)時也較短，但是價格昂貴。

通過圖像進(jìn)行三維點(diǎn)云重建，就是利用相機(jī)來采集圖像，然后利用計算機(jī)視覺和計算機(jī)圖像學(xué)的知識，來生成點(diǎn)云的過程。通過對算法的不斷優(yōu)化改進(jìn)，三維點(diǎn)云的過程趨于簡單和自動化，費(fèi)用相對較低。

隨著虛擬現(xiàn)實(shí)(Virtual?Reality)與增強(qiáng)現(xiàn)實(shí)(Augmented?Reality)技術(shù)的蓬勃發(fā)展，業(yè)界對于三維內(nèi)容的需求不斷增多，視頻自動重構(gòu)技術(shù)的重要性也日益明顯。視頻重構(gòu)技術(shù)可以被分為相機(jī)靜止型和相機(jī)運(yùn)動型。相機(jī)靜止型的視頻重構(gòu)技術(shù)大多利用多視角重構(gòu)技術(shù)(Multiview?Reconstruction)來進(jìn)行動態(tài)場景的重構(gòu)，而相機(jī)運(yùn)動型的視頻重構(gòu)則大多利用了運(yùn)動重構(gòu)技術(shù)(Structure?From?Motion)來進(jìn)行靜態(tài)場景的重構(gòu)。

現(xiàn)有的相機(jī)三維重構(gòu)技術(shù)采集到的是二維圖像，通過位姿估計，確定相機(jī)的運(yùn)動路徑，構(gòu)造出來的三維場景信息也是通過提取二維圖像的特征點(diǎn)實(shí)現(xiàn)的，重建構(gòu)造出來的是稀疏點(diǎn)云，而且其速度較慢。

發(fā)明內(nèi)容

針對上述問題，提出一種基于全景視頻的稠密三維重構(gòu)方法，視頻中每一幀均包含場景的360度信息，通過對全景視頻中所有幀中的特征點(diǎn)深度進(jìn)行重新估計，獲取較高置信度的特征點(diǎn)，將這些特征點(diǎn)映射世界坐標(biāo)系，獲取全景視頻的半稠密點(diǎn)云，根據(jù)半稠密點(diǎn)云按照構(gòu)建置信度高低選取自由空間四面體集合，利用德勞內(nèi)三角化算法進(jìn)行三角重構(gòu)，獲取了較為平滑的全景視頻三維模型。

一種基于全景視頻的稠密三維重構(gòu)方法，包括步驟：

利用全景視頻幀中的第三特征點(diǎn)構(gòu)建半稠密點(diǎn)云；

對所述半稠密點(diǎn)云進(jìn)行過濾處理；

利用德勞內(nèi)算法對所述半稠密點(diǎn)云中的剩余特征點(diǎn)進(jìn)行三角重構(gòu)。

結(jié)合本發(fā)明所述的三維重構(gòu)方法，第一種實(shí)施方式中，所述步驟：利用全景視頻中的第三特征點(diǎn)構(gòu)建半稠密點(diǎn)云，包括：

選取全景視頻關(guān)鍵幀中的第一特征點(diǎn)；

利用第二特征點(diǎn)在關(guān)鍵幀與目標(biāo)幀上的投影誤差估計相機(jī)姿態(tài)信息；

根據(jù)所述姿態(tài)信息重新估計所述關(guān)鍵幀第二特征點(diǎn)的深度值及其置信度數(shù)值，所述第二特征點(diǎn)更新為第三特征點(diǎn)；

獲取所有關(guān)鍵幀的第三特征點(diǎn)，并將所述第三特征點(diǎn)映射到世界坐標(biāo)系。

結(jié)合第一種實(shí)施情況，第二種實(shí)施方式中，所述步驟：選取全景視頻關(guān)鍵幀中的第一特征點(diǎn)與步驟：利用第二特征點(diǎn)在關(guān)鍵幀與目標(biāo)幀上的投影誤差估計相機(jī)姿態(tài)信息之間還包括步驟：

S11a、對所有特征點(diǎn)深度值進(jìn)行歸一化處理，利用置信度數(shù)值描述特征點(diǎn)深度值；