[發(fā)明專利]一種基于SLAM技術(shù)的場(chǎng)景高精度重建方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011143676.8
• 申請(qǐng)日: 2020-10-23
• 公開(kāi)（公告）號(hào): CN112258633B
• 公開(kāi)（公告）日: 2023-02-28
• 發(fā)明（設(shè)計(jì)）人: 郭彥彬;王國(guó)平;劉迎賓;葉韶華
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)鄂州工業(yè)技術(shù)研究院;華中科技大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T7/80
• 代理公司: 北京眾達(dá)德權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11570
• 代理人: 梁凱

本發(fā)明提供了一種基于SLAM技術(shù)的場(chǎng)景高精度重建方法與裝置。通過(guò)深度相機(jī)傳感器實(shí)時(shí)獲取不同視角下場(chǎng)景的RGB圖片，并確定與所述RGB圖片對(duì)應(yīng)的深度圖片；通過(guò)客戶終端接收所述RGB圖片和深度圖片，并對(duì)所述RGB圖片和深度圖片進(jìn)行處理，生成可視化數(shù)據(jù)；基于UDP通信，將所述可視化數(shù)據(jù)發(fā)送至服務(wù)器終端，并通過(guò)SLAM算法和三維顯示引擎進(jìn)行場(chǎng)景三維重建。

技術(shù)領(lǐng)域

本發(fā)明SLAM、三維建模技術(shù)領(lǐng)域，特別涉及一種基于SLAM技術(shù)的場(chǎng)景高精度重建方法及裝置。

背景技術(shù)

目前，SLAM(simultaneous localization and mapping),也稱為CML(ConcurrentMapping and Localization),即時(shí)定位與地圖構(gòu)建，或并發(fā)建圖與定位。問(wèn)題可以描述為：將一個(gè)機(jī)器人放入未知環(huán)境中的未知位置，是否有辦法讓機(jī)器人一邊移動(dòng)一邊逐步描繪出此環(huán)境完全的地圖，所謂完全的地圖(a consistent map)是指不受障礙行進(jìn)到房間可進(jìn)入的每個(gè)角落。近幾年，隨著AR/VR技術(shù)的快速發(fā)展及場(chǎng)景落地，SLAM技術(shù)逐漸成為了新的研究熱點(diǎn)，尤其在自動(dòng)駕駛、智慧城市等領(lǐng)域均具有廣闊的市場(chǎng)前景，但傳統(tǒng)的SLAM技術(shù)具有效率低、精度低、魯棒性低等缺點(diǎn)，距離應(yīng)用在消費(fèi)電子領(lǐng)域仍然存在一定距離，故針對(duì)具體場(chǎng)景需要開(kāi)發(fā)適應(yīng)性的定制化SLAM技術(shù)平臺(tái)逐漸成為各領(lǐng)域新的研究目標(biāo)。

發(fā)明內(nèi)容

本發(fā)明提供一種基于SLAM技術(shù)的場(chǎng)景高精度重建方法及裝置，鑒于上述現(xiàn)有技術(shù)的不足之處，本發(fā)明可實(shí)現(xiàn)對(duì)紋理特征較少的復(fù)雜場(chǎng)景進(jìn)行高精度的三維重建，且本發(fā)明利用無(wú)線的方式，對(duì)于滿足了一些刑偵現(xiàn)場(chǎng)復(fù)原、危險(xiǎn)區(qū)域重建等場(chǎng)景下的需求。

一種基于SLAM技術(shù)的場(chǎng)景高精度重建方法，其特征在于，包括：

通過(guò)深度相機(jī)傳感器實(shí)時(shí)獲取不同視角下場(chǎng)景的RGB圖片，并確定與所述RGB圖片對(duì)應(yīng)的深度圖片；

通過(guò)客戶終端接收所述RGB圖片和深度圖片，并對(duì)所述RGB圖片和深度圖片進(jìn)行處理，生成可視化數(shù)據(jù)；

基于UDP通信，將所述可視化數(shù)據(jù)發(fā)送至服務(wù)器終端，并通過(guò)SLAM算法和三維顯示引擎進(jìn)行場(chǎng)景三維重建。

作為本發(fā)明的一種實(shí)施例，所述方法還包括：

對(duì)所述深度相機(jī)傳感器的核心參數(shù)進(jìn)行標(biāo)定；其中，

所述核心參數(shù)包括內(nèi)參和外參；

所述深度相機(jī)傳感器包括結(jié)構(gòu)光發(fā)射器、RGB攝像頭和深度相機(jī)組成，所述結(jié)構(gòu)光發(fā)射器與所述RGB攝像頭和深度相機(jī)電連接，所述RGB攝像頭安裝于所述深度相機(jī)的鏡頭處。

作為本發(fā)明的一種實(shí)施例，所述對(duì)所述深度相機(jī)傳感器的核心參數(shù)進(jìn)行標(biāo)定，包括如下步驟：

步驟1：獲取Kinect的深度圖像；

步驟2：獲取RGB攝像頭的圖像；

步驟3：根據(jù)所述RGB攝像頭的圖像，將所述深度圖像中的每一個(gè)像素附加對(duì)應(yīng)的RGB顏色，確定深度圖；

步驟4：將附加RGB顏色后的深度圖像代入已知尺寸的標(biāo)定板黑白方格，并在所述標(biāo)定板黑白方格上標(biāo)定所述核心參數(shù)。

作為本發(fā)明的一種實(shí)施例，所述將所述深度圖像中的每一個(gè)像素附加對(duì)應(yīng)的RGB顏色，包括以下步驟：

步驟S1：根據(jù)所述深度圖形，構(gòu)造三維向量坐標(biāo)P_ir＝(x，y，z)；其中，

x表示像素的橫坐標(biāo)，y表示像素的縱坐標(biāo)，z表示像素的深度值；

步驟S2：通過(guò)下式(1)將所述三維向量坐標(biāo)與所述深度相機(jī)傳感器內(nèi)參矩陣的逆相乘，確定所述深度相機(jī)傳感器的空間點(diǎn)坐標(biāo)：