[發(fā)明專利]地面障礙物地圖標(biāo)記方法、移動(dòng)機(jī)器人和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010548704.8
• 申請(qǐng)日: 2020-06-16
• 公開(kāi)（公告）號(hào): CN111899299A
• 公開(kāi)（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 許少?gòu)?qiáng);向良華;董敏杰;潘何浩;羅方龍;陳兆先
• 申請(qǐng)（專利權(quán)）人: 弗徠威智能機(jī)器人科技（上海）有限公司
• 主分類號(hào): G06T7/70
• 分類號(hào): G06T7/70;G06N3/08;G01C11/04;G01C21/00;G01S11/12
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 諸炳彬

本發(fā)明公開(kāi)了一種地面障礙物地圖標(biāo)記方法、移動(dòng)機(jī)器人和存儲(chǔ)介質(zhì)，涉及移動(dòng)機(jī)器人技術(shù)領(lǐng)域。其方法技術(shù)要點(diǎn)包括從深度相機(jī)中讀取彩色圖像；利用深度學(xué)習(xí)訓(xùn)練的識(shí)別模型檢測(cè)識(shí)別彩色圖像中的障礙物，并基于識(shí)別的障礙物生成障礙物邊界框；將深度相機(jī)中彩色圖像的障礙物邊界框映射到深度圖像中，獲取深度圖像中的檢測(cè)邊界框；基于深度圖像中的邊界框計(jì)算出障礙物與機(jī)器人之間的深度距離；獲取機(jī)器人在三維坐標(biāo)系中的位置坐標(biāo)，計(jì)算得到地圖坐標(biāo)系下的障礙物的位置坐標(biāo)；機(jī)器人通訊客戶端，將障礙物在地圖坐標(biāo)系下的位置坐標(biāo)發(fā)送至客戶端，本發(fā)明具有減輕清潔工后續(xù)搜尋障礙物的工作量的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及移動(dòng)機(jī)器人技術(shù)領(lǐng)域，更具體地說(shuō)，它涉及一種地面障礙物地圖標(biāo)記方法、移動(dòng)機(jī)器人和存儲(chǔ)介質(zhì)。

背景技術(shù)

目前移動(dòng)機(jī)器人應(yīng)用的范圍越來(lái)越廣，除了應(yīng)用在家庭環(huán)境下之外,移動(dòng)機(jī)器人還應(yīng)用在商場(chǎng)和地庫(kù)等垃圾種類繁多的復(fù)雜環(huán)境下進(jìn)行清潔。在復(fù)雜環(huán)境下會(huì)出現(xiàn)移動(dòng)機(jī)器人無(wú)法清理的障礙物，如礦水瓶、易拉罐或其它較小的障礙物。

而面對(duì)此類障礙物，現(xiàn)有的移動(dòng)機(jī)器人無(wú)法清理，一般會(huì)選擇繞開(kāi)。因此為了保持地庫(kù)或商場(chǎng)的清潔，還需要雇傭清潔工人進(jìn)行二次清理，撿取障礙物。在現(xiàn)有方式中，若移動(dòng)機(jī)器人的工作范圍較大，需要清潔工逐一搜尋，工作量大。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有的技術(shù)問(wèn)題，本發(fā)明的目的在于提供一種地面障礙物地圖標(biāo)記方法，其具有減輕清潔工后續(xù)搜尋障礙物的工作量?jī)?yōu)點(diǎn)。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：一種地面障礙物地圖標(biāo)記方法，包括：

從深度相機(jī)中讀取彩色圖像；

利用深度學(xué)習(xí)訓(xùn)練的識(shí)別模型檢測(cè)識(shí)別彩色圖像中的障礙物，并基于識(shí)別的障礙物生成障礙物邊界框；

將深度相機(jī)中彩色圖像的障礙物邊界框映射到深度圖像中，獲取深度圖像中的檢測(cè)邊界框；

基于深度圖像中的邊界框計(jì)算出障礙物與機(jī)器人之間的深度距離；

獲取機(jī)器人在三維坐標(biāo)系中的位置坐標(biāo)，并根據(jù)深度距離計(jì)算獲取障礙物在三維坐標(biāo)系中的位置坐標(biāo)，將機(jī)器人的三維坐標(biāo)系變換到地圖坐標(biāo)系下，計(jì)算得到地圖坐標(biāo)系下的障礙物的位置坐標(biāo)；

機(jī)器人通訊客戶端，將障礙物在地圖坐標(biāo)系下的位置坐標(biāo)發(fā)送至客戶端。

通過(guò)采用上述技術(shù)方案，根據(jù)現(xiàn)有技術(shù)可知深度相機(jī)能夠拍攝兩種圖像，第一種是彩色圖像，第二種是深度圖像。通過(guò)深度學(xué)習(xí)訓(xùn)練模型可以實(shí)時(shí)地識(shí)別出與檢測(cè)障礙物在彩色圖像中的邊界框。根據(jù)得到的障礙物邊界框和深度相機(jī)得到障礙物深度距離信息與機(jī)器人自身的位置通過(guò)坐標(biāo)變換可以實(shí)時(shí)地得到障礙物在地圖中的位置坐標(biāo)。深度相機(jī)自動(dòng)檢測(cè)與識(shí)別地面障礙物，并將障礙物位姿信息標(biāo)記到地圖中發(fā)送至客戶端，幫助清潔工快速定位障礙物，提高搜尋效率。

本發(fā)明進(jìn)一步設(shè)置為：所述深度相機(jī)設(shè)置于移動(dòng)機(jī)器人的前側(cè)的下方。

通過(guò)采用上述技術(shù)方案，由于移動(dòng)機(jī)器人是向前移動(dòng)的，因此在移動(dòng)機(jī)器人移動(dòng)的過(guò)程中，前側(cè)下方的深度相機(jī)能夠持續(xù)的獲取到移動(dòng)機(jī)器人移動(dòng)方向上的障礙物，起到避讓障礙物的同時(shí)也能起到很好的測(cè)距效果。

本發(fā)明進(jìn)一步設(shè)置為：所述識(shí)別模型包括數(shù)據(jù)集，所述數(shù)據(jù)集中包括70%的訓(xùn)練集、15%的驗(yàn)證集和15%的測(cè)試集。

通過(guò)采用上述技術(shù)方案，識(shí)別模型的深度學(xué)習(xí)，基于對(duì)數(shù)據(jù)集中訓(xùn)練集、驗(yàn)證集和測(cè)試集的分配，來(lái)保證深度學(xué)習(xí)獲得的數(shù)據(jù)信息穩(wěn)定而準(zhǔn)確。

本發(fā)明進(jìn)一步設(shè)置為：利用所述識(shí)別模型比對(duì)彩色圖像，當(dāng)彩色圖像的置信度超過(guò)預(yù)設(shè)置信度值時(shí)，彩色圖像被識(shí)別為存在障礙物。