[發(fā)明專利]多目相機的三維重建方法、裝置、VR相機和全景相機

有效

• 申請?zhí)枺?/td>: 201810240856.4
• 申請日: 2018-03-22
• 公開（公告）號: CN108564617B
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計）人: 謝亮
• 申請（專利權(quán)）人: 影石創(chuàng)新科技股份有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06K9/00
• 代理公司: 深圳瑞天謹(jǐn)誠知識產(chǎn)權(quán)代理有限公司 44340
• 代理人: 溫青玲

本發(fā)明適用于計算機視覺領(lǐng)域，提供了一種多目相機的三維重建方法、裝置、VR相機和全景相機。所述方法包括：獲取多目相機在移動過程中每個攝像頭拍攝的視頻，所述多目相機是包括至少兩個攝像頭的VR相機或者全景相機；對所有攝像頭拍攝的視頻同時提取關(guān)鍵幀，并對每個關(guān)鍵幀做畸變矯正；根據(jù)所有攝像頭拍攝的視頻對應(yīng)的關(guān)鍵幀做三維重建，生成點云和攝像頭的相機姿態(tài)；獲取相鄰攝像頭生成的公共點云，并根據(jù)相鄰攝像頭生成的公共點云確定所有點云的尺度。本發(fā)明可以為點云提供具體真實的物理尺度，且VR相機或者全景相機的鏡頭可提供更廣的視場角，覆蓋更完整的角度，同時增大了相鄰兩個鏡頭的重合度，為點云尺度的確定提供更多的公共點，增加魯棒性。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺領(lǐng)域，尤其涉及一種多目相機的三維重建方法、裝置、VR相機和全景相機。

背景技術(shù)

現(xiàn)有技術(shù)對機器人的定位和導(dǎo)航，通常利用基于普通鏡頭的多目相機采集圖像，然后通過SFM(Structure From Motion，運動恢復(fù)結(jié)構(gòu))算法進行三維重建。然而普通鏡頭的視場角比較窄，采集的圖像不能覆蓋完整的角度，相鄰兩個鏡頭的重合度比較低，因此三維重建的魯棒性較差。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種多目相機的三維重建方法、裝置、計算機可讀存儲介質(zhì)、VR相機和全景相機，旨在解決基于普通鏡頭的多目相機采集的圖像進行三維重建的魯棒性較差的問題。

第一方面，本發(fā)明提供了一種多目相機的三維重建方法，所述方法包括：

獲取多目相機在移動過程中每個攝像頭拍攝的視頻，所述多目相機是包括至少兩個攝像頭的VR相機或者全景相機；

對所有攝像頭拍攝的視頻同時提取關(guān)鍵幀，并對每個關(guān)鍵幀做畸變矯正；

根據(jù)所有攝像頭拍攝的視頻對應(yīng)的關(guān)鍵幀做三維重建，生成點云和攝像頭的相機姿態(tài)；

獲取相鄰攝像頭生成的公共點云，并根據(jù)相鄰攝像頭生成的公共點云確定所有點云的尺度。

第二方面，本發(fā)明提供了一種多目相機的三維重建裝置，所述裝置包括：

視頻獲取模塊，用于獲取多目相機在移動過程中每個攝像頭拍攝的視頻，所述多目相機是包括至少兩個攝像頭的VR相機或者全景相機；

關(guān)鍵幀提取模塊，用于對所有攝像頭拍攝的視頻同時提取關(guān)鍵幀，并對每個關(guān)鍵幀做畸變矯正；

三維重建模塊，用于根據(jù)所有攝像頭拍攝的視頻對應(yīng)的關(guān)鍵幀做三維重建，生成點云和攝像頭的相機姿態(tài)；

點云處理模塊，用于獲取相鄰攝像頭生成的公共點云，并根據(jù)相鄰攝像頭生成的公共點云確定所有點云的尺度。

第三方面，本發(fā)明提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述的多目相機的三維重建方法的步驟。

第四方面，本發(fā)明提供了一種VR相機，包括：一個或多個處理器；存儲器；以及一個或多個計算機程序，其中所述一個或多個計算機程序被存儲在所述存儲器中，并且被配置成由所述一個或多個處理器執(zhí)行，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述的多目相機的三維重建方法的步驟。

第五方面，本發(fā)明提供了一種全景相機，包括：一個或多個處理器；存儲器；以及一個或多個計算機程序，其中所述一個或多個計算機程序被存儲在所述存儲器中，并且被配置成由所述一個或多個處理器執(zhí)行，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述的多目相機的三維重建方法的步驟。