[發(fā)明專利]基于深度學(xué)習(xí)的機(jī)器人室內(nèi)環(huán)境三維語(yǔ)義地圖構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911340905.2
• 申請(qǐng)日: 2019-12-23
• 公開（公告）號(hào): CN111179426A
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計(jì)）人: 王永娟;徐少杰;曹雛清
• 申請(qǐng)（專利權(quán)）人: 南京理工大學(xué)
• 主分類號(hào): G06T17/05
• 分類號(hào): G06T17/05;G06T7/33;G06T7/10
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 汪清

1.一種基于深度學(xué)習(xí)的機(jī)器人室內(nèi)環(huán)境三維語(yǔ)義地圖構(gòu)建方法，其特征在于，包括以下步驟：

步驟1、通過深度相機(jī)采集室內(nèi)環(huán)境的RGB圖像序列和深度圖像序列；

步驟2、對(duì)采集的每一幀RGB圖像進(jìn)行ORB特征提取和匹配，并確定關(guān)鍵幀；

步驟3、利用步驟2中提取和匹配好的特征點(diǎn)對(duì)通過ICP算法計(jì)算相鄰兩幀圖像間的位姿變換矩陣T；

步驟4：用訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)步驟2中確定的關(guān)鍵幀進(jìn)行語(yǔ)義分割獲得關(guān)鍵幀的按像素分類的圖像；

步驟5：結(jié)合步驟3中計(jì)算得到的變換矩陣T和關(guān)鍵幀對(duì)應(yīng)的深度圖像將步驟4分割好的關(guān)鍵幀圖像進(jìn)行點(diǎn)云拼接得到可供機(jī)器人理解的語(yǔ)義地圖。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的機(jī)器人室內(nèi)環(huán)境三維語(yǔ)義地圖構(gòu)建方法，其特征在于，步驟2確定關(guān)鍵幀的具體實(shí)施步驟為：

步驟21：檢測(cè)每一幀圖像的Oriented FAST角點(diǎn)位置，根據(jù)角點(diǎn)位置計(jì)算BRIEF描述子；

步驟22：使用Hamming距離對(duì)兩幅圖像中的BRIEF描述子進(jìn)行匹配，當(dāng)兩個(gè)描述子的相似度達(dá)到設(shè)定值時(shí)則確定這兩個(gè)描述子是匹配的；

步驟23：匹配點(diǎn)對(duì)篩選，計(jì)算出所有匹配點(diǎn)對(duì)中的最小距離，當(dāng)描述子之間的距離大于兩倍最小距離時(shí)，則認(rèn)為出現(xiàn)錯(cuò)誤匹配，將誤匹配點(diǎn)對(duì)剔除；

步驟24：關(guān)鍵幀選擇，將第一幀傳入的圖像作為第一個(gè)關(guān)鍵幀，下一關(guān)鍵幀確定策略為：下一關(guān)鍵幀與上一關(guān)鍵幀的重復(fù)區(qū)域低于設(shè)定值；下一關(guān)鍵幀擁有的匹配點(diǎn)數(shù)在設(shè)定對(duì)以上；下一關(guān)鍵幀距上一關(guān)鍵幀的幀數(shù)上下限；滿足以上條件的圖像即可認(rèn)為是關(guān)鍵幀。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的機(jī)器人室內(nèi)環(huán)境三維語(yǔ)義地圖構(gòu)建方法，其特征在于，步驟3計(jì)算相鄰兩幀圖像間的位姿變換矩陣T，具體實(shí)施步驟為：

設(shè)已經(jīng)對(duì)兩幅RGB-D圖像進(jìn)行了匹配：Q＝{q₁，···，q_n}，Q'＝{q′₁，···，q′_n}，其中Q與Q'是兩幅圖像中匹配點(diǎn)的集合，q_i與q′_i是兩幅圖像中的匹配點(diǎn)對(duì)；

對(duì)任意的匹配點(diǎn)對(duì)q_i與q′_i有以下的對(duì)應(yīng)關(guān)系：q_i＝Rq′_i+t+e_i；

其中e_i為對(duì)應(yīng)的誤差項(xiàng)；R是姿變換矩陣中的旋轉(zhuǎn)矩陣；t是姿變換矩陣T中的平移矩陣；

將上述公式變換成e_i＝q_i-(Rq′_i+t)，構(gòu)建最小二乘問題：其中n是匹配點(diǎn)對(duì)數(shù)；

將該問題的解拼接即為所求的位姿變換矩陣T。

4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的機(jī)器人室內(nèi)環(huán)境三維語(yǔ)義地圖構(gòu)建方法，其特征在于，步驟4深度學(xué)習(xí)網(wǎng)絡(luò)采用SegNet語(yǔ)義分割網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的機(jī)器人室內(nèi)環(huán)境三維語(yǔ)義地圖構(gòu)建方法，其特征在于，步驟5獲得可供機(jī)器人理解的語(yǔ)義地圖，具體實(shí)施步驟為：

在圖像的像素坐標(biāo)系下有一點(diǎn)該點(diǎn)對(duì)應(yīng)的像機(jī)坐標(biāo)系下的坐標(biāo)為這兩點(diǎn)的轉(zhuǎn)換公式為其中P_uv為P'的齊次坐標(biāo)；Z為像素點(diǎn)深度，K為相機(jī)的內(nèi)參數(shù)矩陣；得到像素點(diǎn)P'對(duì)應(yīng)的相機(jī)坐標(biāo)系下的坐標(biāo)P；

第k+1幀圖像相機(jī)坐標(biāo)到世界坐標(biāo)的變換公式為式中為第k幀到第k+1幀之間的變換矩陣；將P_w和P添1增加一維做齊次處理；得到了像素坐標(biāo)到世界坐標(biāo)的變換，將所有關(guān)鍵幀按上述變換變換到世界坐標(biāo)系下，將關(guān)鍵幀中所有像素點(diǎn)投影到對(duì)應(yīng)的三維空間點(diǎn)中拼接起來(lái)，如此就得到了包含環(huán)境語(yǔ)義信息的語(yǔ)義地圖。