[發(fā)明專利]一種基于深度相機(jī)的非規(guī)則物體位姿估計(jì)方法及裝置

有效

• 申請?zhí)枺?/td>: 202110697067.5
• 申請日: 2021-06-23
• 公開（公告）號: CN113450408B
• 公開（公告）日: 2022-10-25
• 發(fā)明（設(shè)計(jì)）人: 廖洪波;孫野;李田林;梁小冬;李華康
• 申請（專利權(quán)）人: 中國人民解放軍63653部隊(duì)
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/66;G06V10/764;G06T17/00
• 代理公司: 重慶市信立達(dá)專利代理事務(wù)所(普通合伙) 50230
• 代理人: 劉潔

本發(fā)明公開了一種基于深度相機(jī)的非規(guī)則物體位姿估計(jì)方法和裝置，包括：1)獲取場景的二維RGB圖像和對應(yīng)的深度圖；2)基于獲取到的二維RGB圖像，識(shí)別后得到第一目標(biāo)點(diǎn)云模型；3)構(gòu)建全局點(diǎn)云，并提取到第二目標(biāo)點(diǎn)云模型；4)將第一目標(biāo)點(diǎn)云模型和第二目標(biāo)點(diǎn)云模型進(jìn)行質(zhì)量評估和加權(quán)融合，得到融合點(diǎn)云模型；5)將融合點(diǎn)云模型從相機(jī)坐標(biāo)系轉(zhuǎn)換到視錐坐標(biāo)系下；6)對融合點(diǎn)云模型進(jìn)行語義分割，并轉(zhuǎn)換到掩模坐標(biāo)系下，形成3D點(diǎn)云模型；7)對3D點(diǎn)云模型中的目標(biāo)進(jìn)行3D位姿的預(yù)測。采用本發(fā)明的技術(shù)方案能夠在三維空間中準(zhǔn)確地估計(jì)出目標(biāo)的位姿，進(jìn)而獲取高質(zhì)量抓取部位，保證抓取的精確度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像處理技術(shù)，尤其涉及一種基于深度相機(jī)的非規(guī)則物體位姿估計(jì)方法及裝置。

背景技術(shù)

機(jī)器人技術(shù)是具有前瞻性、戰(zhàn)略性的高技術(shù)領(lǐng)域。其技術(shù)的發(fā)展水平成為衡量一個(gè)國家高科技水平和工業(yè)自動(dòng)化程度的重要標(biāo)志。機(jī)器人飛速發(fā)展的今天，工業(yè)機(jī)器人在各行各業(yè)的應(yīng)用也越來越廣泛，其中在危險(xiǎn)作業(yè)領(lǐng)域，機(jī)器人技術(shù)有著重要的實(shí)際意義。機(jī)器人的視覺系統(tǒng)作為機(jī)器人系統(tǒng)的重要組成部分，首先需要識(shí)別目標(biāo)對象及位置，然后才能完成路徑規(guī)劃和控制等過程。因此，機(jī)器人對目標(biāo)對象識(shí)別的準(zhǔn)確性以及定位的準(zhǔn)確性，能夠優(yōu)化機(jī)器人抓取路徑并改善抓取任務(wù)系統(tǒng)的整體性能。同時(shí)機(jī)器人能夠?qū)崟r(shí)處理視覺信息，機(jī)器人系統(tǒng)的工作效率將會(huì)被極大提高，人機(jī)交互能力也將會(huì)增強(qiáng)。

過去主要的工作是使用三維建模復(fù)原來找到好的抓取點(diǎn)，雖然這些基于三維模型的方法在受控情況下表現(xiàn)良好，但它們依賴于構(gòu)建復(fù)雜且準(zhǔn)確的三維模型。隨著卷積神經(jīng)網(wǎng)絡(luò)算法在計(jì)算機(jī)視覺領(lǐng)域的快速發(fā)展，2D目標(biāo)檢測算法也隨之快速發(fā)展，已經(jīng)成功應(yīng)用于字符識(shí)別和物體表面檢測等領(lǐng)域。對應(yīng)的機(jī)器人抓取方法采用RGB圖像生成目標(biāo)矩形區(qū)域，但是這種方法缺少了三維空間下的目標(biāo)抓取部位位置，導(dǎo)致抓取精度較低。在這十年之間，低成本深度攝像機(jī)的引入以及計(jì)算框架的出現(xiàn)，改進(jìn)了抓取識(shí)別的新方法。我們可以利用深度相機(jī)，利用算法重建出高質(zhì)量的物體點(diǎn)云模型，估計(jì)出物體的位姿，得到精確的3D空間位置信息，提高目標(biāo)抓取的準(zhǔn)確度。

現(xiàn)有的實(shí)現(xiàn)方案主要包括以下三種：1)雙目視覺定位：使用兩個(gè)相機(jī)在不同位置采集圖像，對采集的圖像進(jìn)行模板匹配，再根據(jù)視差和三角測距原理計(jì)算出目標(biāo)物體的位置；2)標(biāo)記物識(shí)別：在目標(biāo)物體上貼提前準(zhǔn)備好的標(biāo)記物(如二維碼)，通過攝像頭識(shí)別標(biāo)記物信息，進(jìn)行定位得到目標(biāo)位置信息；3)深度學(xué)習(xí)識(shí)別定位：通過深度學(xué)習(xí)框架和數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，再用訓(xùn)練好的模型識(shí)別圖像中的目標(biāo)物體位置。

現(xiàn)有技術(shù)缺點(diǎn)：基于模板匹配的方法計(jì)算量大，且不適用于復(fù)雜的實(shí)際場景；利用標(biāo)記物識(shí)別的方法無法適用于實(shí)際應(yīng)用場景，不可能在每個(gè)待抓取物體上貼好標(biāo)記物；單一的深度學(xué)習(xí)識(shí)別定位方法僅能確定目標(biāo)的大致位置，無法獲得三維空間下物體抓取部位的表征。

發(fā)明內(nèi)容

本發(fā)明意在提供一種基于深度相機(jī)的非規(guī)則物體位姿估計(jì)方法及裝置，能夠在三維空間中準(zhǔn)確地估計(jì)出目標(biāo)的位姿，進(jìn)而獲取高質(zhì)量抓取部位，保證抓取的精確度。

為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于深度相機(jī)的非規(guī)則物體位姿估計(jì)方法，包括：

S1：利用深度相機(jī)采集戶外三維場景，獲取場景的二維RGB圖像和對應(yīng)的深度圖；

S2：基于獲取到的二維RGB圖像，利用深層的特征提取網(wǎng)絡(luò)提取圖像信息，識(shí)別出圖像中的目標(biāo)候選區(qū)域，得到對應(yīng)檢測框；將檢測框映射到深度圖中并選取其中的深度信息，將識(shí)別后的深度圖轉(zhuǎn)換成三維點(diǎn)云，得到第一目標(biāo)點(diǎn)云模型，對檢測結(jié)果評估后得到置信度α；

S3：基于深度信息構(gòu)建全局點(diǎn)云，將全局點(diǎn)云轉(zhuǎn)化成高緯度的特征圖并傳入檢測模塊，檢測和回歸3D邊框并獲得相對應(yīng)置信度β，用3D邊框在全局點(diǎn)云中提取第二目標(biāo)點(diǎn)云模型；

S4：將第一目標(biāo)點(diǎn)云模型和第二目標(biāo)點(diǎn)云模型進(jìn)行質(zhì)量評估和加權(quán)融合，得到融合點(diǎn)云模型；