[發(fā)明專利]用于掃地機(jī)器人的語義導(dǎo)航方法及其系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910585099.9
• 申請日: 2019-07-01
• 公開（公告）號: CN110275540A
• 公開（公告）日: 2019-09-24
• 發(fā)明（設(shè)計）人: 張先江;張遠(yuǎn)謀;雷明軍;皮釩;蔣玉城
• 申請（專利權(quán)）人: 湖南海森格諾信息技術(shù)有限公司
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于掃地機(jī)器人的語義導(dǎo)航方法，其特征在于，包括以下步驟：

步驟S1：獲取掃地機(jī)器人在環(huán)境中的定位信息；

步驟S2：獲取環(huán)境中障礙物所對應(yīng)的深度圖；

步驟S3：獲取深度圖中所有障礙物的三維位置；

步驟S4：識別環(huán)境中障礙物對應(yīng)的語義信息；

步驟S5：構(gòu)建帶語義的場景二維柵格地圖；

步驟S6：規(guī)劃掃地機(jī)器人路徑，引導(dǎo)掃地機(jī)器人行進(jìn)；

步驟S7：實時更新帶語義的場景二維柵格地圖。

2.如權(quán)利要求1所述的用于掃地機(jī)器人的語義導(dǎo)航方法，其特征在于：步驟S1中，獲取掃地機(jī)器人在環(huán)境中的定位信息，還包括以下步驟：

步驟S11：獲取圖像P₁，圖像P₁為XZ軸平面內(nèi)與X軸呈30-90度夾角的RGB圖像，X、Z是三維笛卡爾坐標(biāo)的坐標(biāo)軸，Z軸表示豎直朝上的坐標(biāo)，X軸表示掃地機(jī)器人前進(jìn)的方向；

步驟S12：提取并跟蹤每幀圖像P₁的視覺局部特征信息；

步驟S13：采集兩幀圖像P₁間的慣性導(dǎo)航單元信息和里程計信息，并利用慣性導(dǎo)航單元信息和預(yù)積分方法計算慣性導(dǎo)航單元信息對應(yīng)的兩幀圖像P₁間機(jī)器人的相對位置和相對姿態(tài)，得到預(yù)積分結(jié)果；

步驟S14：基于非線性優(yōu)化方法計算機(jī)器人當(dāng)前三維位置和姿態(tài)，以及跟蹤上的視覺局部特征信息所對應(yīng)的地圖點的三維位置，并篩選關(guān)鍵幀圖像，通過非線性最小二乘法融合所有的視覺局部特征信息、預(yù)積分結(jié)果和里程計信息，以獲得當(dāng)前局部地圖中機(jī)器人當(dāng)前三維位置、姿態(tài)以及跟蹤上的視覺局部特征信息所對應(yīng)的地圖點的三維位置的最優(yōu)解，從而得到機(jī)器人當(dāng)前的定位信息和關(guān)鍵幀圖像對應(yīng)的機(jī)器人定位信息；

步驟S15：根據(jù)關(guān)鍵幀圖像對應(yīng)的機(jī)器人定位信息構(gòu)建關(guān)鍵幀的位姿圖，通過視覺特征袋的方法檢測關(guān)鍵幀圖像集合中的視覺閉環(huán)，并對關(guān)鍵幀圖像所對應(yīng)的機(jī)器人位置和姿態(tài)進(jìn)行全局優(yōu)化，消除長距離運行時機(jī)器人定位累積的誤差。

3.如權(quán)利要求1所述的用于掃地機(jī)器人的語義導(dǎo)航方法，其特征在于：步驟S2中，獲取環(huán)境中障礙物所對應(yīng)的深度圖，還包括以下步驟：

步驟S21:發(fā)射紅外結(jié)構(gòu)光，采集帶有結(jié)構(gòu)光斑點的同步的雙目圖像，同時采集圖像P₂，圖像P₂為沿X軸方向的RGB圖像；通過紅外結(jié)構(gòu)光提升雙目圖像的環(huán)境紋理豐富程度，實現(xiàn)對弱紋理或無紋理環(huán)境的深度估計；

步驟S22:對雙目圖形進(jìn)行矯正，采用基于立體匹配的方法計算深度圖，獲取深度圖中各類障礙物的深度信息。

4.如權(quán)利要求1所述的用于掃地機(jī)器人的語義導(dǎo)航方法，其特征在于：步驟S3中，獲取深度圖中所有障礙物的三維位置的方法是：

基于機(jī)器人在環(huán)境中的定位信息和障礙物在深度圖中的深度信息計算障礙物的三維位置。

5.如權(quán)利要求1所述的用于掃地機(jī)器人的語義導(dǎo)航方法，其特征在于：步驟S4中，識別環(huán)境中障礙物對應(yīng)的語義信息的具體方法如下：

基于深度圖提取障礙物，結(jié)合圖像P₂，通過深度神經(jīng)網(wǎng)絡(luò)的方法識別雙目圖像中各類障礙物的類別標(biāo)簽，從而獲取各類障礙物的語義信息。

6.如權(quán)利要求1所述的用于掃地機(jī)器人的語義導(dǎo)航方法，其特征在于：步驟S5中，構(gòu)建帶語義的場景二維柵格地圖，還包括以下步驟：

步驟S51：將掃地機(jī)器人運行環(huán)境投影至二維平面，對二維平面進(jìn)行柵格劃分；

步驟S52：根據(jù)深度圖中障礙物的三維位置信息判斷障礙物所屬柵格，從而判斷柵格中是否存在障礙物，獲得障礙物語義信息；

步驟S53：根據(jù)障礙物語義信息擴(kuò)展二維柵格地圖的語義信息，獲得帶語義的場景二維柵格地圖。