[發(fā)明專利]一種基于RGB-D的叉車倒車避障方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210352682.7
• 申請(qǐng)日: 2022-03-31
• 公開（公告）號(hào): CN114648523A
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計(jì)）人: 鐘深友;魏璇;曾金榮;潘斌;王潔
• 申請(qǐng)（專利權(quán)）人: 浙江科鈦機(jī)器人股份有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/62;G06T7/70;G06T7/80;G06T5/40
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

本發(fā)明公開了一種基于RGB?D的叉車倒車避障方法。該方法采用RGB?D相機(jī)，獲取周圍環(huán)境的深度信息以及RGB信息，同時(shí)利用生產(chǎn)者?消費(fèi)者模型實(shí)現(xiàn)。生產(chǎn)者負(fù)責(zé)深度圖、RGB圖的獲取以及深度圖預(yù)處理以提高深度圖的質(zhì)量。消費(fèi)者負(fù)責(zé)后放障礙物的檢測(cè)與避障，首先使用ROI去除大部分無關(guān)數(shù)據(jù)，接著使用背景差分大致提取出障礙物的位置，最后利用三維閾值精確分割出障礙物，并結(jié)合障礙物RGB角點(diǎn)信息提高障礙物的檢測(cè)精度，降低誤檢率。該方法具有實(shí)施簡(jiǎn)單、消耗運(yùn)算小、運(yùn)算速度快、誤檢率低等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識(shí)別和移動(dòng)機(jī)器人的技術(shù)領(lǐng)域，具體涉及一種基于RGB-D的叉車后退避障方法。

背景技術(shù)

自21世紀(jì)的以來，機(jī)器人技術(shù)得到了巨大的發(fā)展，尤其在智能無人搬運(yùn)機(jī)器人領(lǐng)域更是尤為明顯。移動(dòng)搬運(yùn)機(jī)器人目前正在工業(yè)領(lǐng)域大放異彩，如智能無人化頂升AGV、智能無人化堆高車、智能無人化叉車等。機(jī)器人在復(fù)雜工廠環(huán)境中，如何檢測(cè)和規(guī)避障礙物確保自身運(yùn)行的安全是機(jī)器人能否完成工作任務(wù)的前提保障。在避障礙功能中移動(dòng)機(jī)器人后方障礙物的檢測(cè)避障是其中重要的一環(huán)。目前針對(duì)自主移動(dòng)機(jī)器人后方障礙物的檢測(cè)與避障一般依賴于超聲波傳感器以及避障激光傳感器。但是超聲波傳感器檢測(cè)距離短，無法得到障礙物的輪廓信息也檢測(cè)不到能夠吸收超聲波的障礙物。避障激光傳感器造價(jià)高昂，只能夠獲取一個(gè)平面內(nèi)的激光點(diǎn)云信息，對(duì)于不出現(xiàn)在平面內(nèi)的障礙物，避障礙激光傳感器無能為力。

綜上所述，超聲波傳感器與避障激光傳感器在檢測(cè)障礙物的都有一定的局限性。相比較于這兩種傳感器，RGB-D相機(jī)有著很大的優(yōu)勢(shì)。首先RGB-D相機(jī)可以同時(shí)獲取周圍環(huán)境空間內(nèi)的三維深度信息與彩色信息，可以獲取障礙物的輪廓以及點(diǎn)云信息。這也使得RGB-D相機(jī)需要在自主移動(dòng)機(jī)器人障礙物檢測(cè)方面有著廣泛的運(yùn)用。目前的基于RGB-D叉車倒車障礙物檢測(cè)方法有著消耗計(jì)算資源大、處理速度慢、易容外界光照變換的影響、誤檢率高等缺點(diǎn)。因此，針對(duì)現(xiàn)有的叉車倒車障礙物檢測(cè)方法，需要提供一種基于RGB-D相機(jī)的叉車倒車避障方法。

發(fā)明內(nèi)容

在現(xiàn)有的實(shí)際的工廠環(huán)境下，針對(duì)現(xiàn)有叉車搬運(yùn)機(jī)器人后退障礙物檢測(cè)與避障礙方法實(shí)時(shí)性不高、易受外界影響、檢測(cè)誤檢率高等問題，本發(fā)明實(shí)施提出了一種基于RGB-D的叉車后退障礙物檢測(cè)方法。該基于RGB-D的后退障礙物檢測(cè)與避障方法能夠?qū)臻g內(nèi)的三維障礙物進(jìn)行檢測(cè)，更好精確的檢測(cè)出障礙物同時(shí)輸出障礙物在車體坐標(biāo)系下的坐標(biāo)，并進(jìn)行避障等級(jí)輸出，最終實(shí)現(xiàn)障礙物檢測(cè)與避障的全過程。

該基于RGB-D的叉車后退障礙物檢測(cè)方法的具體方案如下：一種基于RGB-D的叉車倒車避障方法,所述的方法包括如下步驟：

步驟1：利用安裝在叉車上的RGB-D相機(jī)獲取到三維的深度圖像以及RGB圖像，并對(duì)深度圖像進(jìn)行預(yù)處理操作；

步驟2：對(duì)深度圖像背景的深度信息進(jìn)行標(biāo)定，具體為：獲取若干張預(yù)處理后的深度圖，記錄每一個(gè)像素位置波動(dòng)的最大值，得到閾值文件；并計(jì)算這些深度圖的加權(quán)平均，得到背景圖D_background，同時(shí)將當(dāng)前獲取深度圖像設(shè)定的ROI區(qū)域與背景圖進(jìn)行差分操作生成二值圖B；

步驟3：對(duì)二值圖B中標(biāo)記為障礙物的部分進(jìn)行三維空間坐標(biāo)的計(jì)算，并根據(jù)叉車腿部的狀態(tài)設(shè)置的空間閾值，將不滿足的空間閾值條件像素點(diǎn)在二值圖B上的標(biāo)記為非障礙物；

步驟4：對(duì)二值圖內(nèi)的障礙物區(qū)域計(jì)算凸包，并生成凸包的最小正接矩形框；

步驟5：定義相機(jī)坐標(biāo)系的Z軸為相機(jī)正前方，X軸為相機(jī)右方，Y軸為相機(jī)下方；計(jì)算障礙物在Z軸大小，以及障礙物在Y軸正方向上的最大值；

步驟6：根據(jù)不同的Z軸上的距離區(qū)間設(shè)置不同的凸包面積閾值，如果障礙物的凸包面積小于其所在區(qū)間的凸包面積閾值則拋棄障礙物，反之保留；