[發(fā)明專利]一種基于深度相機(jī)的6D數(shù)據(jù)集構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110871267.8
• 申請(qǐng)日: 2021-07-30
• 公開（公告）號(hào): CN113920191A
• 公開（公告）日: 2022-01-11
• 發(fā)明（設(shè)計(jì)）人: 田昊;趙霞;于重重;胡心雨;陳嘉倫
• 申請(qǐng)（專利權(quán)）人: 北京工商大學(xué)
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/80;G06T17/00
• 代理公司: 北京萬(wàn)象新悅知識(shí)產(chǎn)權(quán)代理有限公司 11360
• 代理人: 賈曉玲

本發(fā)明提供一種基于深度相機(jī)的6D數(shù)據(jù)集構(gòu)建方法，以便于利用視覺傳感器采集的信息來識(shí)別三維空間中的目標(biāo)并估計(jì)其6D姿態(tài)以協(xié)助機(jī)器人加強(qiáng)對(duì)周圍環(huán)境的感知。本發(fā)明采用Kinect 2.0相機(jī)，基于張正友棋盤標(biāo)定法對(duì)相機(jī)進(jìn)行標(biāo)定，然后基于Kinect 2.0相機(jī)通過ROS平臺(tái)采集視頻流，然后使用3DMAX建模軟禁設(shè)計(jì)目標(biāo)物體的三維模型設(shè)計(jì)。最后利用ElasticFusion實(shí)時(shí)三維重建的方法得到實(shí)際場(chǎng)景，最后基于迭代最近點(diǎn)算法將待檢對(duì)象的三維模型映射到實(shí)際場(chǎng)景中從而得到物體的6D位姿。由于檢測(cè)物體的復(fù)雜性與多樣性，本發(fā)明針對(duì)具體的應(yīng)用場(chǎng)景，提出專門的位姿數(shù)據(jù)集構(gòu)建方法，為特定的網(wǎng)絡(luò)進(jìn)行訓(xùn)練檢測(cè)奠定了基礎(chǔ)。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理、模式識(shí)別和機(jī)器視覺技術(shù)領(lǐng)域，涉及位姿數(shù)據(jù)集構(gòu)建方法，尤其涉及圖像6D位姿方數(shù)據(jù)集構(gòu)建方法，便于利用視覺傳感器采集的信息來識(shí)別三維空間中的目標(biāo)并估計(jì)其6D姿態(tài)以協(xié)助機(jī)器人加強(qiáng)對(duì)周圍環(huán)境的感知，為具體應(yīng)用場(chǎng)景下特定網(wǎng)絡(luò)模型的訓(xùn)練檢測(cè)奠定了基礎(chǔ)。

背景技術(shù)

近年來，隨著計(jì)算機(jī)視覺算法不斷發(fā)展，人們開始使用二維的視覺圖像輔助算法作為分析問題和解決問題的方法，尤其在一些工件檢測(cè)上具有相對(duì)廣泛的應(yīng)用，由于在二維領(lǐng)域中深度、尺寸等物理世界信息的缺失，導(dǎo)致了對(duì)周圍環(huán)境的檢測(cè)過程中存在明顯的局限性。因此，三維傳感器在計(jì)算機(jī)視覺領(lǐng)域的需求被提出，三維成像技術(shù)也不斷的發(fā)展。當(dāng)前，市場(chǎng)上的三維傳感器漸漸普及，各種型號(hào)的激光雷達(dá)和深度相機(jī)產(chǎn)品不斷涌現(xiàn)，尤其是隨著微軟、奧比中光、因特爾等產(chǎn)業(yè)對(duì)于小型深度相機(jī)研究的不斷深入，深度相機(jī)的價(jià)格也逐步降低。許多領(lǐng)域中開始大量使用三維傳感器，比如AR/VR、機(jī)器人、遙感遙測(cè)、無人駕駛等方面。因此，三維領(lǐng)域的計(jì)算機(jī)視覺逐漸成為研究熱點(diǎn)，而6D位姿估計(jì)在三維領(lǐng)域中也成為了一個(gè)新興的發(fā)展方向。

在實(shí)際應(yīng)用中，為了能夠準(zhǔn)確的實(shí)現(xiàn)物體的6D位姿估計(jì)，首先需要能精確的識(shí)別物體。相比于得到物體的目標(biāo)框，分割有助于在后續(xù)的6D位姿估計(jì)中更精確的定位物體，二維圖像的分割研究已相對(duì)成熟，基于RGB數(shù)據(jù)和深度數(shù)據(jù)的協(xié)同處理是現(xiàn)在研究的難點(diǎn)問題。通過分割得到物體的掩模，然后才能夠?qū)崿F(xiàn)物體的6D位姿估計(jì)，物體的6D位姿估計(jì)在未來的工業(yè)機(jī)器人、無人駕駛方面將具有無可限量的研究?jī)r(jià)值。

目前，數(shù)據(jù)集的標(biāo)注信息主要包括場(chǎng)景中每個(gè)物體的類別和三維位姿；在實(shí)際數(shù)據(jù)集建設(shè)時(shí)，現(xiàn)有技術(shù)主要采用傳統(tǒng)人工標(biāo)注，可供深度學(xué)習(xí)模型訓(xùn)練和位姿識(shí)別算法測(cè)試的位姿數(shù)據(jù)集少之又少，因此，本文提出了一種基于深度相機(jī)的6D位姿數(shù)據(jù)集生成方法。構(gòu)建位姿數(shù)據(jù)集整體流程如圖1所示，第一步是相機(jī)的配置，選用kinect v2相機(jī)基于張正友棋盤標(biāo)定法進(jìn)行標(biāo)定，得到相機(jī)的內(nèi)參和畸變系數(shù)。其次是創(chuàng)建目標(biāo)物體的三維模型，采用3DMAX實(shí)現(xiàn)物體的三維模型設(shè)計(jì)。最后是結(jié)合前面獲得的參數(shù)進(jìn)行半自動(dòng)化打標(biāo)簽，并將得到的標(biāo)簽數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換得到最終需要的位姿數(shù)據(jù)，由此生成基于深度相機(jī)的6D位姿數(shù)據(jù)集。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種基于深度相機(jī)的6D數(shù)據(jù)集構(gòu)建方法，便于利用視覺傳感器采集的信息來識(shí)別三維空間中的目標(biāo)并估計(jì)其6D姿態(tài)以協(xié)助機(jī)器人加強(qiáng)對(duì)周圍環(huán)境的感知，為具體應(yīng)用場(chǎng)景下特定網(wǎng)絡(luò)模型的訓(xùn)練檢測(cè)奠定了基礎(chǔ)。

本發(fā)明采用深度相機(jī)Kinect 2.0深度相機(jī)，基于張正友棋盤標(biāo)定法對(duì)其標(biāo)定，得到相機(jī)的內(nèi)參和畸變系數(shù)，選用ROS平臺(tái)架構(gòu)實(shí)現(xiàn)數(shù)據(jù)流的采集。然后是使用3DMAX建模軟禁設(shè)計(jì)目標(biāo)物體的三維模型設(shè)計(jì)。最后采用LabelFusion框架估計(jì)位姿數(shù)據(jù)，基于三維重建模型ElasticFusion進(jìn)行場(chǎng)景重建，使用ICP匹配方法將物體三維模型映射到三維場(chǎng)景中得到物體的位姿數(shù)據(jù)。最后將所得標(biāo)簽數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換得到6D位姿數(shù)據(jù)集。本發(fā)明方法的模型結(jié)構(gòu)圖如圖1所示。

本發(fā)明提供的技術(shù)方案如下：

一種基于深度相機(jī)的6D數(shù)據(jù)集構(gòu)建方法，其特征在于：