[發(fā)明專利]基于多尺度預(yù)測的深度卷積神經(jīng)網(wǎng)絡(luò)的無人機(jī)語義地圖構(gòu)建方法

在審

• 申請?zhí)枺?/td>: 202010583529.6
• 申請日: 2020-06-24
• 公開（公告）號(hào): CN111798538A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計(jì)）人: 成怡;方任彥;牛萍娟
• 申請（專利權(quán)）人: 天津工業(yè)大學(xué);天津市萬貿(mào)科技有限公司
• 主分類號(hào): G06T11/20
• 分類號(hào): G06T11/20;G06K9/00;G06K9/62;G06N3/04;G06F16/29;G01C21/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于視覺導(dǎo)航領(lǐng)域，具體涉及一種基于多尺度預(yù)測的深度卷積神經(jīng)網(wǎng)絡(luò)的無人機(jī)語義地圖構(gòu)建方法，結(jié)合基于RGB?D相機(jī)的視覺SLAM系統(tǒng)和基于回歸預(yù)測的多尺度預(yù)測的深度卷積神經(jīng)網(wǎng)絡(luò)SSD框架，設(shè)計(jì)算法剔除動(dòng)態(tài)物體點(diǎn)、融合位姿信息和語義信息以及構(gòu)建語義目標(biāo)數(shù)據(jù)庫，實(shí)時(shí)構(gòu)建高層次語義地圖。適合中小型無人機(jī)的高定位精度、微型化及低成本的特點(diǎn)，具有理論與實(shí)用價(jià)值。

技術(shù)領(lǐng)域

本發(fā)明屬于視覺導(dǎo)航領(lǐng)域，涉及一種基于多尺度預(yù)測的深度卷積神經(jīng)網(wǎng)絡(luò)的無人機(jī)語義地圖構(gòu)建方法，特別針對動(dòng)態(tài)環(huán)境下小型無人機(jī)實(shí)時(shí)構(gòu)建高層次語義地圖，硬件配置微型化及低成本的要求。

背景技術(shù)

近年來，無人機(jī)(UAV)在軍事上的作用日趨重要，如美國研制的“捕食者”、“全球鷹”、A160，法國的“鷹”，西歐國家(EADS公司)的HALE無人機(jī)。美國的無人機(jī)動(dòng)力裝置為1臺(tái)雙路渦噴發(fā)動(dòng)機(jī)，控制系統(tǒng)采用慣性+“導(dǎo)航星”空間無線電導(dǎo)航系統(tǒng)數(shù)據(jù)修正方式。機(jī)載模塊化偵察設(shè)備包括側(cè)視雷達(dá)、光電偵察系統(tǒng)、無線電技術(shù)偵察和無線電電子對抗設(shè)備、一體化數(shù)據(jù)接收與傳遞系統(tǒng)、ATACCS目標(biāo)指示系統(tǒng)、轉(zhuǎn)發(fā)設(shè)備等。海軍型還將裝備有水面活動(dòng)目標(biāo)選擇系統(tǒng)的掃描雷達(dá)。美國軍事專家通過分析“全球鷹”無人機(jī)的作用使用經(jīng)驗(yàn)，發(fā)現(xiàn)該機(jī)還有一系列缺點(diǎn)，主要是有效載荷的重量和體積有限，能源系統(tǒng)功率不足，每次出動(dòng)不能保證所有偵察設(shè)備同時(shí)運(yùn)行。因此，相對于大型軍用機(jī)，無人機(jī)要求具有低成本、小尺寸、低功耗、高精度的特點(diǎn)，以便于其運(yùn)輸、發(fā)射和回收。

在無人機(jī)領(lǐng)域，地圖構(gòu)建技術(shù)是感知、建模、規(guī)劃與理解的基礎(chǔ)與核心。無人機(jī)同時(shí)定位與地圖構(gòu)建技術(shù)解決的就是如何利用傳感器的數(shù)據(jù)進(jìn)行自定位，與此同時(shí)構(gòu)建出周圍環(huán)境得地圖。視覺SLAM是以相機(jī)為主要外部傳感器的SLAM系統(tǒng)，有時(shí)還會(huì)結(jié)合其他傳感器的信息，如IMU信息，可應(yīng)用于機(jī)器人、無人駕駛和增強(qiáng)現(xiàn)實(shí)(AR)等領(lǐng)域。目前大多數(shù)的視覺SLAM算法是在靜態(tài)場景這一假設(shè)下運(yùn)行的，獲得的信息中不包含高層的語義信息，僅僅是一些幾何點(diǎn)信息。通過SLAM算法，無人機(jī)可以精確定位，但無法對環(huán)境中的物體進(jìn)行識(shí)別和建模，這將導(dǎo)致無人機(jī)無法根據(jù)環(huán)境中的高層中語義信息進(jìn)行智能操作。隨著室內(nèi)外移動(dòng)機(jī)器人技術(shù)、自動(dòng)駕駛和增強(qiáng)現(xiàn)實(shí)技術(shù)等研究與應(yīng)用的發(fā)展，室內(nèi)外場景中語義理解能力的重要性愈發(fā)顯著。

因此，本發(fā)明旨在研究如何利用語義信息輔助SLAM系統(tǒng)，提出基于多尺度預(yù)測的深度卷積神經(jīng)網(wǎng)絡(luò)的無人機(jī)語義地圖構(gòu)建方法，正是為了適合中小型無人機(jī)的高定位精度、微型化及低成本的特點(diǎn)，具有理論與實(shí)用價(jià)值。

發(fā)明內(nèi)容

本發(fā)明重點(diǎn)研究無人機(jī)視覺導(dǎo)航系統(tǒng)的關(guān)鍵技術(shù)。以復(fù)雜的動(dòng)態(tài)環(huán)境為背景，探索動(dòng)態(tài)環(huán)境下構(gòu)建語義地圖的方法，結(jié)合基于RGB-D相機(jī)的動(dòng)態(tài)視覺SLAM系統(tǒng)和基于回歸預(yù)測的多尺度預(yù)測的深度卷積神經(jīng)網(wǎng)絡(luò)SSD框架，設(shè)計(jì)算法剔除動(dòng)態(tài)物體點(diǎn)、融合位姿信息和語義信息以及構(gòu)建語義目標(biāo)數(shù)據(jù)庫，實(shí)時(shí)構(gòu)建高層次語義地圖。本方法在動(dòng)態(tài)環(huán)境下語義地圖構(gòu)建等方面可以幫助無人機(jī)實(shí)現(xiàn)更為智能的導(dǎo)航任務(wù)。具體的研究方案如圖1所示。主要內(nèi)容如下：

1)基于多尺度預(yù)測的深度神經(jīng)網(wǎng)絡(luò)SSD實(shí)現(xiàn)環(huán)境信息的語義信息提取

2)使用基于二維視覺中的光流檢測法作為動(dòng)態(tài)信息檢測的方法來判斷相機(jī)視野中那些像素對應(yīng)的物體在運(yùn)動(dòng)

3)設(shè)計(jì)動(dòng)態(tài)地圖構(gòu)建算法，以此來構(gòu)建動(dòng)態(tài)語義地圖

附圖說明

圖1是本發(fā)明的研究方案圖。

圖2是本發(fā)明的多尺度預(yù)測的深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)圖。

具體實(shí)施方式

主要環(huán)節(jié)的具體設(shè)計(jì)思路如下：

(1)基于多尺度預(yù)測的深度神經(jīng)網(wǎng)絡(luò)SSD實(shí)現(xiàn)環(huán)境信息的2D語義信息提取