[發明專利]多模態場景信息采集與重建方法及系統

在審

• 申請號: 202210141601.9
• 申請日: 2022-02-16
• 公開（公告）號: CN114549750A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 高躍;王梓祺;趙曦濱
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 黃德海

本申請公開了一種多模態場景信息采集與重建方法及系統，其中，方法包括：利用至少一個采集設備采集至少一個多模態場景信息，其中，每個采集設備包括可移動裝置和設置于可移動裝置上的至少一個傳感器；對至少一個多模態場景信息進行整合，生成原始數據集；利用原始數據集進行場景的點云重建，并獲取任一場景的點云數據。由此，解決了相關技術使用單一數據采集方法，導致其重建結果無法同時滿足精度和信息豐富度要求等問題。

技術領域

本申請涉及三維重建技術領域，特別涉及一種多模態場景信息采集與重建方法及系統。

背景技術

人類通過雙眼探索并發現世界，隨著計算機技術的不斷更新，計算機視覺這種給計算機添加“眼睛”與“大腦”的方向越來越熱門，可以使計算機獨立自主地感知世界。感知設備的不斷刷新，讓人們不再滿足于采集場景下的單一信息，而是盡可能多角度、多維度地對現實世界中的場景進行數據采集與記錄，并利用采集到的數據對真實場景進行多模態的還原。因此，如何將多模態的數據更好的關聯起來，將多模態數據融合在一起變得非常重要。

然而，相關技術主要利用單一的設備進行場景的數據采集，利用單一的數據形式進行場景的重建，比如使用相機進行視覺上的重建，使用激光雷達進行點云上的重建。

相關技術的不足在于：單一使用相機進行重建時，重建結果的精度不高；單一使用激光雷達進行重建時，重建結果的信息豐富度以及視距有限。

綜上，相關技術有待改善。

申請內容

本申請提供一種多模態場景信息采集與重建方法及系統，以解決相關技術使用單一數據采集方法，導致其重建結果無法同時滿足精度和信息豐富度要求等問題。

本申請第一方面實施例提供一種多模態場景信息采集與重建方法，包括以下步驟：利用至少一個采集設備采集至少一個多模態場景信息，其中，每個采集設備包括可移動裝置和設置于所述可移動裝置上的至少一個傳感器；對所述至少一個多模態場景信息進行整合，生成原始數據集；以及利用所述原始數據集進行場景的點云重建，并獲取任一場景的點云數據。

可選地，在本申請的一個實施例中，所述至少一個傳感器包括時序同步的激光雷達、全景相機、慣性里程計和/或GPS(Global Positioning System，全球定位系統)。

可選地，在本申請的一個實施例中，所述對所述至少一個多模態場景信息進行整合，生成原始數據集，包括：利用所述激光雷達、全景相機、慣性里程計和GPS分別獲取激光雷達點云、全景圖片、全景相機參數、加速度與位姿信息和/或當前位置信息；由所述激光雷達點云、全景圖片、全景相機參數、加速度與位姿信息和/或當前位置信息得到所述原始數據集。

可選地，在本申請的一個實施例中，所述利用所述原始數據集進行場景的點云重建，并獲取任一場景的點云數據，包括：播放所述原始數據集，得到實時點云重建結果，并在重建結束后，獲取整個場景點云數據；基于所述整個場景點云數據獲取多模態場景數據集，并根據所述多模態場景數據集得到任一場景的點云數據。

可選地，在本申請的一個實施例中，在對所述至少一個多模態場景信息進行整合之前，還包括：確定至少一個傳感器之間的平移與旋轉矩陣，以基于所述至少一個傳感器之間的平移與旋轉矩陣進行整合。

本申請第二方面實施例提供一種多模態場景信息采集與重建系統，包括：采集模塊，用于利用至少一個采集設備采集至少一個多模態場景信息，其中，每個采集設備包括可移動裝置和設置于所述可移動裝置上的至少一個傳感器；生成模塊，用于對所述至少一個多模態場景信息進行整合，生成原始數據集；以及重建模塊，用于利用所述原始數據集進行場景的點云重建，并獲取任一場景的點云數據。

可選地，在本申請的一個實施例中，所述至少一個傳感器包括時序同步的激光雷達、全景相機、慣性里程計和/或全球定位系統GPS。