[發(fā)明專利]一種基于深度學(xué)習(xí)的機(jī)器人語(yǔ)義地圖物體識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011189866.3
• 申請(qǐng)日: 2020-10-30
• 公開(kāi)（公告）號(hào): CN112288857A
• 公開(kāi)（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 王曉華;李耀光;王文杰;張蕾;蘇澤斌
• 申請(qǐng)（專利權(quán)）人: 西安工程大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T7/11;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 涂秀清

1.一種基于深度學(xué)習(xí)的機(jī)器人語(yǔ)義地圖物體識(shí)別方法，其特征在于，具體包括如下步驟：

步驟1：實(shí)時(shí)采集周圍環(huán)境每一幀圖像信息，選取圖像關(guān)鍵幀；

步驟2：通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)選取的圖像關(guān)鍵幀進(jìn)行目標(biāo)檢測(cè)，提取語(yǔ)義信息；

步驟3：對(duì)步驟2輸出的檢測(cè)后的關(guān)鍵幀圖像，利用三維點(diǎn)云分割方法，完成對(duì)三維點(diǎn)云物體級(jí)別的分割；

步驟4：將步驟3的分割模塊與步驟2的檢測(cè)模塊融合進(jìn)ORB_SLAM2視覺(jué)SLAM框架中，得到包含物體信息的三維語(yǔ)義地圖。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的機(jī)器人語(yǔ)義地圖物體識(shí)別方法，其特征在于，所述步驟1中使用RGB-D視覺(jué)傳感器實(shí)時(shí)采集環(huán)境圖像信息；步驟1中選取圖像關(guān)鍵幀的具體過(guò)程為：在10～15幀圖像中，把圖像質(zhì)量好、特征點(diǎn)數(shù)量充足、特征點(diǎn)分布均勻的一幀圖像當(dāng)作關(guān)鍵。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的機(jī)器人語(yǔ)義地圖物體識(shí)別方法，其特征在于，所述步驟2中目標(biāo)檢測(cè)的具體過(guò)程為：

步驟2.1：制作帶有物體標(biāo)記的數(shù)據(jù)集；利用圖像標(biāo)注工具LableImg對(duì)圖像樣本進(jìn)行標(biāo)注；將不同物體用文本框打上標(biāo)簽，生成符合網(wǎng)絡(luò)格式的標(biāo)注文件；

步驟2.2：設(shè)置網(wǎng)絡(luò)超參數(shù)對(duì)YOLOV3-tiny改進(jìn)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到合適的網(wǎng)絡(luò)模型；

步驟2.3：將選取的圖像關(guān)鍵幀送入YOLO模型中，進(jìn)行對(duì)物體的目標(biāo)檢測(cè)，得到物體所在的位置和分類概率。

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的機(jī)器人語(yǔ)義地圖物體識(shí)別方法，其特征在于，所述步驟3中點(diǎn)云分割方法的具體過(guò)程為：

步驟3.1：在SLAM過(guò)程中使用GrabCut算法對(duì)步驟2輸出的關(guān)鍵幀圖像進(jìn)行二維目標(biāo)分割；

步驟3.2：利用改進(jìn)VCCS算法進(jìn)行三維點(diǎn)云分割；

步驟3.3：利用點(diǎn)云分割結(jié)果剔除掉點(diǎn)云中不屬于目標(biāo)的像素點(diǎn)，完成物體級(jí)別的三維點(diǎn)云分割。

5.根據(jù)權(quán)利要求4所述的一種基于深度學(xué)習(xí)的機(jī)器人語(yǔ)義地圖物體識(shí)別方法，其特征在于，所述步驟3.1的具體過(guò)程為：

步驟3.1.1：在關(guān)鍵幀圖片中定義一個(gè)或者多個(gè)包含物體的矩形，矩形外的區(qū)域被自動(dòng)認(rèn)為是背景；

步驟3.1.2：用高斯混合模型來(lái)對(duì)背景和前景建模，并將未定義的像素標(biāo)記為可能的前景或者背景；

對(duì)于圖像中的每個(gè)像素，都用含有K個(gè)高斯分量的GMM進(jìn)行建模，最后的分割用一個(gè)向量k＝{k₁,k₂,...k_n}表示，向量中的每一個(gè)元素代表屬于k中的對(duì)應(yīng)一個(gè)分量，即k_n∈{1,2,...,K}，同時(shí)區(qū)分了前景和背景；

對(duì)于每個(gè)像素，來(lái)自于目標(biāo)GMM的某個(gè)高斯分量或來(lái)自于背景GMM的某個(gè)高斯分量，通過(guò)將RGB三通道值代入GMM模型中進(jìn)行計(jì)算，整個(gè)圖像的能量函數(shù)表示為：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z) (1)

U()為區(qū)域項(xiàng)，表示一個(gè)像素被歸類為目標(biāo)或者背景的懲罰，V()為邊界項(xiàng)，體現(xiàn)鄰域像素之間不連續(xù)的懲罰，高斯混合模型形式如下：

其中，π表示每個(gè)高斯分量的權(quán)重，μ表示每個(gè)高斯分量的均值向量，對(duì)于三通道圖像來(lái)說(shuō)是一個(gè)三元素向量，∑表示協(xié)方差矩陣；

步驟3.1.3：每一個(gè)像素(即算法中的節(jié)點(diǎn))會(huì)與一個(gè)前景或背景節(jié)點(diǎn)連接，在節(jié)點(diǎn)完成連接后，若節(jié)點(diǎn)之間的邊屬于不同終端，則會(huì)切斷他們之間的邊，這就能將圖像各部分分割出來(lái)，構(gòu)建出初始語(yǔ)義點(diǎn)云地圖。

6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的機(jī)器人語(yǔ)義地圖物體識(shí)別方法，其特征在于，所述步驟3.2具體過(guò)程為：對(duì)于視覺(jué)SLAM系統(tǒng)獲取的三維點(diǎn)云，利用基于Super Voxel的點(diǎn)云分割方法進(jìn)行點(diǎn)云分割，利用點(diǎn)云體素連通性進(jìn)行體素聚類，來(lái)實(shí)現(xiàn)目標(biāo)分割的一種三維點(diǎn)云聚類分割算法。