[發(fā)明專利]一種基于語(yǔ)義SLAM的移動(dòng)機(jī)器人自動(dòng)導(dǎo)航和目標(biāo)識(shí)別算法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011162281.2
• 申請(qǐng)日: 2020-10-27
• 公開(kāi)（公告）號(hào): CN112344936A
• 公開(kāi)（公告）日: 2021-02-09
• 發(fā)明（設(shè)計(jì)）人: 卑璐璐;黃凱
• 申請(qǐng)（專利權(quán)）人: 徐州工程學(xué)院
• 主分類號(hào): G01C21/20
• 分類號(hào): G01C21/20;G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06N7/00;G06N20/00
• 代理公司: 北京淮海知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32205
• 代理人: 張旭

1.一種基于語(yǔ)義SLAM的移動(dòng)機(jī)器人自動(dòng)導(dǎo)航和目標(biāo)識(shí)別算法，其特征在于，具體步驟為：

S1、自主移動(dòng)機(jī)器人在車間內(nèi)通過(guò)攝像頭采集周圍環(huán)境的圖片，然后對(duì)采集的圖片進(jìn)行預(yù)處理操作，獲得泛化能力較強(qiáng)、尺度一致、數(shù)量充足的圖片數(shù)據(jù)；

S2、根據(jù)步驟S1獲得圖片數(shù)據(jù)的圖像特性，采用輕量級(jí)編解碼結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)算法構(gòu)建語(yǔ)義提取器，并根據(jù)構(gòu)建的語(yǔ)義提取器對(duì)圖片數(shù)據(jù)進(jìn)行處理獲得輸出特征以及語(yǔ)義分割結(jié)果；

S3、根據(jù)步驟S2得出的輸出特征以及語(yǔ)義分割結(jié)果，對(duì)圖像數(shù)據(jù)中的關(guān)鍵圖像幀進(jìn)行關(guān)聯(lián)匹配計(jì)算，若存在關(guān)鍵幀丟失或數(shù)據(jù)關(guān)聯(lián)超過(guò)閾值，則確定為相機(jī)位姿數(shù)據(jù)丟失，此時(shí)進(jìn)入步驟S4；否則經(jīng)過(guò)關(guān)聯(lián)匹配計(jì)算后，獲得相機(jī)位姿數(shù)據(jù)，進(jìn)入步驟S5；

S4、在關(guān)鍵幀丟失，或數(shù)據(jù)關(guān)聯(lián)超過(guò)閾值的情況下，通過(guò)選擇不同的重定位算法，進(jìn)行最優(yōu)重定位，然后再次進(jìn)入S3；

S5、根據(jù)步驟S3獲得的相機(jī)位姿數(shù)據(jù)，獲得圖像對(duì)應(yīng)編碼信息，進(jìn)而判斷機(jī)器人當(dāng)前位置，并實(shí)現(xiàn)回環(huán)檢測(cè)；

S6、整合S4和S5的運(yùn)行狀態(tài)結(jié)果，基于貝葉斯概率算法模型進(jìn)行狀態(tài)估計(jì)；

S7、根據(jù)步驟S6獲得的自主移動(dòng)機(jī)器人狀態(tài)估計(jì)信息，經(jīng)過(guò)多輪迭代擬合，最終獲得機(jī)器人準(zhǔn)確的位置狀態(tài)信息，并根據(jù)具體場(chǎng)景任務(wù)要求，構(gòu)建不同格式的場(chǎng)景地圖，完成自主移動(dòng)機(jī)器人的自動(dòng)導(dǎo)航和目標(biāo)識(shí)別過(guò)程。

2.根據(jù)權(quán)利要求1所述的基于語(yǔ)義SLAM的移動(dòng)機(jī)器人自動(dòng)導(dǎo)航和目標(biāo)識(shí)別算法，其特征在于，所述步驟S1中預(yù)處理操作的具體步驟為：

S11、圖片數(shù)據(jù)增強(qiáng)，通過(guò)該處理實(shí)現(xiàn)圖片樣本量增加和模型泛化能力的增強(qiáng)；

S12、圖像隨機(jī)裁剪，通過(guò)設(shè)定的隨機(jī)裁剪參數(shù)進(jìn)行處理，實(shí)現(xiàn)對(duì)于原始圖像的局部區(qū)域的分塊，提高圖像的泛化性能；

S13、圖像隨機(jī)尺度泛化，通過(guò)設(shè)定的隨機(jī)尺度參數(shù)進(jìn)行處理，實(shí)現(xiàn)對(duì)于原始圖像不同尺度的轉(zhuǎn)化，提高圖像中不同分辨率的空間信息度。

3.根據(jù)權(quán)利要求1所述的基于語(yǔ)義SLAM的移動(dòng)機(jī)器人自動(dòng)導(dǎo)航和目標(biāo)識(shí)別算法，其特征在于，所述步驟S2的具體步驟為：

S21、基于輕量化的深度神經(jīng)網(wǎng)絡(luò)，結(jié)合端到端的設(shè)計(jì)思路，構(gòu)建像素級(jí)別的語(yǔ)義對(duì)象提取器；

S22、根據(jù)具體的性能指標(biāo)，選取不同架構(gòu)層次的卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，實(shí)現(xiàn)不同運(yùn)行速度的特征提取和對(duì)象識(shí)別模塊結(jié)構(gòu)，并輸出特征；

S23、根據(jù)具體的任務(wù)場(chǎng)景應(yīng)用條件，判斷是否對(duì)2D有結(jié)構(gòu)位置信息或3D無(wú)結(jié)構(gòu)點(diǎn)云信息進(jìn)行處理，從而得出不同特征的語(yǔ)義分割模塊，最終獲得語(yǔ)義分割結(jié)果。

4.根據(jù)權(quán)利要求1所述的基于語(yǔ)義SLAM的移動(dòng)機(jī)器人自動(dòng)導(dǎo)航和目標(biāo)識(shí)別算法，其特征在于，所述步驟S3中關(guān)聯(lián)操作的具體步驟為：

S31、根據(jù)步驟S2得出的輸出特征以及語(yǔ)義分割結(jié)果，對(duì)圖像數(shù)據(jù)中的關(guān)鍵圖像幀進(jìn)行數(shù)據(jù)關(guān)聯(lián)操作，采用的關(guān)聯(lián)方式進(jìn)行相關(guān)操作，其中，Z_k表示第k次觀測(cè)，是依賴于第k次的相機(jī)位姿x_k和地標(biāo)位置l_k，基于最大后驗(yàn)概率估計(jì)，求解出最終結(jié)果D，D為相機(jī)位姿數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的基于語(yǔ)義SLAM的移動(dòng)機(jī)器人自動(dòng)導(dǎo)航和目標(biāo)識(shí)別算法，其特征在于，所述步驟S4中重定位的具體過(guò)程為：

S41、根據(jù)圖像數(shù)據(jù)的實(shí)際情況，在三種不同的重定位算法中選擇一種，進(jìn)行最優(yōu)重定位，其中三種不同的重定位算法分別為詞袋模式、基于機(jī)器學(xué)習(xí)的匹配模式和匹配之前所有關(guān)鍵幀模式。

6.根據(jù)權(quán)利要求1所述的基于語(yǔ)義SLAM的移動(dòng)機(jī)器人自動(dòng)導(dǎo)航和目標(biāo)識(shí)別算法，其特征在于，所述步驟S5的具體過(guò)程為：

S51、根據(jù)步驟S3獲得的相機(jī)位姿數(shù)據(jù)及其中累計(jì)的關(guān)鍵幀數(shù)據(jù)，進(jìn)行特征提取及特征聚類，進(jìn)而統(tǒng)計(jì)得到的圖像對(duì)應(yīng)編碼信息；

S52、基于貝葉斯概率模型，對(duì)得到的圖像對(duì)應(yīng)編碼信息進(jìn)行數(shù)據(jù)幀閉環(huán)檢測(cè)，生成字段信息，構(gòu)造全局位置字典；

S53、基于全局位置字典，進(jìn)行時(shí)間一致性和結(jié)構(gòu)一致性驗(yàn)證，最終輸出準(zhǔn)確的回環(huán)信息。

7.根據(jù)權(quán)利要求1所述的基于語(yǔ)義SLAM的移動(dòng)機(jī)器人自動(dòng)導(dǎo)航和目標(biāo)識(shí)別算法，其特征在于，所述步驟S6中狀態(tài)估計(jì)的具體過(guò)程為：

S61、后端狀態(tài)估計(jì)基于貝葉斯概率算法模型：

其中，X^*作為最大后驗(yàn)概率的結(jié)果，Z＝{z₁,…,z_k}是一組包含噪聲的觀測(cè)信息。