[發明專利]多模態場景信息采集與重建方法及系統

在審

• 申請號: 202210141601.9
• 申請日: 2022-02-16
• 公開（公告）號: CN114549750A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 高躍;王梓祺;趙曦濱
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 黃德海

1.一種多模態場景信息采集與重建方法，其特征在于，包括以下步驟：

利用至少一個采集設備采集至少一個多模態場景信息，其中，每個采集設備包括可移動裝置和設置于所述可移動裝置上的至少一個傳感器；

對所述至少一個多模態場景信息進行整合，生成原始數據集；以及

利用所述原始數據集進行場景的點云重建，并獲取任一場景的點云數據。

2.根據權利要求1所述的方法，其特征在于，所述至少一個傳感器包括時序同步的激光雷達、全景相機、慣性里程計和/或全球定位系統GPS。

3.根據權利要求2所述的方法，其特征在于，所述對所述至少一個多模態場景信息進行整合，生成原始數據集，包括：

利用所述激光雷達、全景相機、慣性里程計和GPS分別獲取激光雷達點云、全景圖片、全景相機參數、加速度與位姿信息和/或當前位置信息；

由所述激光雷達點云、全景圖片、全景相機參數、加速度與位姿信息和/或當前位置信息得到所述原始數據集。

4.根據權利要求1或3所述的方法，其特征在于，所述利用所述原始數據集進行場景的點云重建，并獲取任一場景的點云數據，包括：

播放所述原始數據集，得到實時點云重建結果，并在重建結束后，獲取整個場景點云數據；

基于所述整個場景點云數據獲取多模態場景數據集，并根據所述多模態場景數據集得到任一場景的點云數據。

5.根據權利要求1-4任一項所述的方法，其特征在于，在對所述至少一個多模態場景信息進行整合之前，還包括：

確定至少一個傳感器之間的平移與旋轉矩陣，以基于所述至少一個傳感器之間的平移與旋轉矩陣進行整合。

6.一種多模態場景信息采集與重建系統，其特征在于，包括：

采集模塊，用于利用至少一個采集設備采集至少一個多模態場景信息，其中，每個采集設備包括可移動裝置和設置于所述可移動裝置上的至少一個傳感器；

生成模塊，用于對所述至少一個多模態場景信息進行整合，生成原始數據集；以及

重建模塊，用于利用所述原始數據集進行場景的點云重建，并獲取任一場景的點云數據。

7.根據權利要求6所述的系統，其特征在于，所述至少一個傳感器包括時序同步的激光雷達、全景相機、慣性里程計和/或全球定位系統GPS。

8.根據權利要求7所述的系統，其特征在于，所述生成模塊，包括：

第一獲取單元，用于利用所述激光雷達、全景相機、慣性里程計和GPS分別獲取激光雷達點云、全景圖片、全景相機參數、加速度與位姿信息和/或當前位置信息；

第二獲取單元，用于由所述激光雷達點云、全景圖片、全景相機參數、加速度與位姿信息和/或當前位置信息得到所述原始數據集。

9.一種電子設備，其特征在于，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述程序，以實現如權利要求1-5任一項所述的多模態場景信息采集與重建方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行，以用于實現如權利要求1-5任一項所述的多模態場景信息采集與重建方法。