[發明專利]一種基于SLAM技術的場景高精度重建方法及裝置

有效

• 申請號: 202011143676.8
• 申請日: 2020-10-23
• 公開（公告）號: CN112258633B
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 郭彥彬;王國平;劉迎賓;葉韶華
• 申請（專利權）人: 華中科技大學鄂州工業技術研究院;華中科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/80
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 梁凱

1.一種基于SLAM技術的場景高精度重建方法，其特征在于，包括：

通過深度相機傳感器實時獲取不同視角下場景的RGB圖片，并確定與所述RGB圖片對應的深度圖片；

通過客戶終端接收所述RGB圖片和深度圖片，并對所述RGB圖片和深度圖片進行處理，生成可視化數據；

基于UDP通信，將所述可視化數據發送至服務器終端，并通過SLAM算法和三維顯示引擎進行場景三維重建；

所述方法還包括：

對所述深度相機傳感器的核心參數進行標定；其中，

所述核心參數包括內參和外參；

所述深度相機傳感器包括結構光發射器、RGB攝像頭和深度相機組成，所述結構光發射器與所述RGB攝像頭和深度相機電連接，所述RGB攝像頭安裝于所述深度相機的鏡頭處；

所述對所述深度相機傳感器的核心參數進行標定，包括如下步驟：

步驟1：獲取Kinect的深度圖像；

步驟2：獲取RGB攝像頭的圖像；

步驟3：根據所述RGB攝像頭的圖像，將所述深度圖像中的每一個像素附加對應的RGB顏色，確定深度圖；

步驟4：將附加RGB顏色后的深度圖像代入已知尺寸的標定板黑白方格，并在所述標定板黑白方格上標定所述核心參數；

所述將所述深度圖像中的每一個像素附加對應的RGB顏色，包括以下步驟：

步驟S1：根據所述深度圖形，構造三維向量坐標P_ir＝(x,y,z)；其中，

x表示像素的橫坐標，y表示像素的縱坐標，z表示像素的深度值；

步驟S2：通過下式(1)將所述三維向量坐標與所述深度相機傳感器內參矩陣的逆相乘，確定所述深度相機傳感器的空間點坐標：

其中，H_ir表示深度相機傳感器的內參矩陣；H_ir^-1表示深度相機傳感器的內參矩陣；P_ir表示深度相機傳感器的空間點坐標；

步驟S3：通過下式(2)將所述深度相機傳感器的空間點坐標通過旋轉平移變換，確定RGB攝像頭的空間坐標點；

P_rgb＝RP_ir+T (2)

其中，P_rgb表示RGB攝像頭的空間坐標點；R表示旋轉矩陣；T表示平移向量；

步驟S4：獲取所述RGB攝像頭的內參矩陣，并通過所述RGB攝像頭的內參矩陣對RGB攝像頭的空間坐標點進行投影，通過下式(3)確定RGB攝像頭的三維向量坐標：

p_rgb＝H_rgb*P_rgb (3)

其中，H_rgb表示RGB攝像頭的內參矩陣；

步驟S5：根據所述RGB攝像頭的三維向量坐標，獲取RGB攝像頭的三維向量坐標的像素坐標，并根據所述像素坐標的顏色對所述深度圖像中的每一個像素附加對應的RGB顏色；其中，

所述像素坐標為RGB攝像頭的三維向量坐標的橫坐標和縱坐標。

2.根據權利要求1所述的一種基于SLAM技術的場景高精度重建方法，其特征在于，所述步驟4還包括：

預設標定板黑白方格，并確定所述標定板黑白方格的尺寸信息；

根據所述尺寸信息，確定深度相機傳感器的鏡頭到標定物的真實距離；

獲取深度相機傳感器的內部參數，并通過下式(4)將所述深度相機傳感器的鏡頭到標定物的真實距離代入相機模型方程，確定核心參數：

其中，表示標定板黑白方格主點的橫坐標；表示標定板黑白方格主點的縱坐標。

3.根據權利要求1所述的一種基于SLAM技術的場景高精度重建方法，其特征在于，所述方法還包括：

通過最小二乘法對所述深度相機傳感器的誤差進行計算，確定所述深度相機傳感器的損失函數：

其中，E表示損失函數；y_i表示深度相機傳感器的第i個像素點的觀測值；表示深度相機傳感器的理論值；i＝1，2，3，……n；n表示深度相機傳感器的像素點的總數。