[發(fā)明專利]一種視覺融合信息三維重建的導(dǎo)航地圖構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011494582.5
• 申請(qǐng)日: 2020-12-17
• 公開（公告）號(hào): CN112465987A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 馮毅;周宏寬;劉偉;邱志強(qiáng);柯志武;陶模;陳朝旭;李獻(xiàn)領(lǐng);鄭偉;柯漢兵;魏志國(guó);戴春輝;勞星勝;柳勇;肖頎
• 申請(qǐng)（專利權(quán)）人: 武漢第二船舶設(shè)計(jì)研究所（中國(guó)船舶重工集團(tuán)公司第七一九研究所）
• 主分類號(hào): G06T17/20
• 分類號(hào): G06T17/20;G06T17/05;G06T5/50;G06K9/34
• 代理公司: 武漢東喻專利代理事務(wù)所(普通合伙) 42224
• 代理人: 李佑宏

本發(fā)明公開了一種視覺融合信息三維重建的導(dǎo)航地圖構(gòu)建方法。該方法包括獲取待構(gòu)建環(huán)境的環(huán)境數(shù)據(jù)信息，所述環(huán)境數(shù)據(jù)信息包括可見光視頻圖像、紅外視頻圖像、伽馬視頻圖像；將所述可見光視頻圖像分別與所述紅外視頻圖像和所述伽馬視頻圖像進(jìn)行圖像融合，得到紅外融合圖像以及伽馬融合圖像；獲取所述紅外融合圖像和所述伽馬融合圖像的二維特征信息，構(gòu)建所述待構(gòu)建環(huán)境的三維導(dǎo)航地圖。本發(fā)明實(shí)現(xiàn)了對(duì)圖像與三維場(chǎng)景中的紅外場(chǎng)、伽馬劑量場(chǎng)等信息進(jìn)行了語(yǔ)義分割與目標(biāo)識(shí)別，為地圖增加了語(yǔ)義級(jí)特征信息，為移動(dòng)裝備快速識(shí)別地圖中的目標(biāo)特征提供信息支撐。

技術(shù)領(lǐng)域

本申請(qǐng)涉及三維重建導(dǎo)航地圖技術(shù)領(lǐng)域，具體而言，涉及一種視覺融合信息三維重建的導(dǎo)航地圖構(gòu)建方法。

背景技術(shù)

無人裝置能夠在運(yùn)行維護(hù)任務(wù)和應(yīng)急處理任務(wù)提供現(xiàn)場(chǎng)的實(shí)況地圖，在核電環(huán)境、搜救環(huán)境等應(yīng)用場(chǎng)景下具有重大意義。現(xiàn)有的相關(guān)導(dǎo)航地圖構(gòu)建方法在非可見光場(chǎng)信息和未知環(huán)境下的地圖構(gòu)建方面存在缺陷，目前較為成熟的即時(shí)定位和地圖構(gòu)建(Simultaneous Localization and Mapping,SLAM)方法主要依靠激光雷達(dá)對(duì)可見實(shí)體障礙物進(jìn)行測(cè)距，實(shí)現(xiàn)構(gòu)建導(dǎo)航地圖的幾何邊界環(huán)境信息。然而，核電與搜救環(huán)境中普遍存在異常高溫區(qū)域與高放射劑量區(qū)域，對(duì)于進(jìn)入環(huán)境中執(zhí)行任務(wù)的無人裝置和人員都存在巨大的安全威脅，僅靠幾何邊界環(huán)境信息構(gòu)建的導(dǎo)航地圖無法獲取溫度、劑量等非可見光場(chǎng)信息，無法完整、準(zhǔn)確感知環(huán)境中的多源信息特征。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種視覺融合信息三維重建的導(dǎo)航地圖構(gòu)建方法。采用多源視覺信息作為構(gòu)建導(dǎo)航地圖的信息源，通過視覺三維重建的方法構(gòu)建環(huán)境信息的數(shù)據(jù)化幾何邊緣，將多源視覺信息分別在二維圖像和三維場(chǎng)景兩個(gè)層級(jí)進(jìn)行融合，并對(duì)融合信息進(jìn)行語(yǔ)義標(biāo)注，完成基于融合信息的語(yǔ)義級(jí)三維導(dǎo)航地圖的構(gòu)建。

第一方面，本申請(qǐng)實(shí)施例提供了一種視覺融合信息三維重建的導(dǎo)航地圖構(gòu)建方法，所述方法包括：

獲取待構(gòu)建環(huán)境的環(huán)境數(shù)據(jù)信息，所述環(huán)境數(shù)據(jù)信息包括可見光視頻圖像、紅外視頻圖像、伽馬視頻圖像；

將所述可見光視頻圖像分別與所述紅外視頻圖像和所述伽馬視頻圖像進(jìn)行圖像融合，得到紅外融合圖像以及伽馬融合圖像；

獲取所述紅外融合圖像和所述伽馬融合圖像的二維特征信息，構(gòu)建所述待構(gòu)建環(huán)境的三維導(dǎo)航地圖。

優(yōu)選的，所述獲取所述紅外融合圖像和所述伽馬融合圖像的二維特征信息，包括：

對(duì)所述紅外融合圖像和所述伽馬融合圖像進(jìn)行目標(biāo)識(shí)別，識(shí)別所述紅外融合圖像和所述伽馬融合圖像的環(huán)境特征；

基于所述環(huán)境特征對(duì)所述紅外融合圖像和所述伽馬融合圖像進(jìn)行語(yǔ)義分割，得到二維特征信息。

優(yōu)選的，所述環(huán)境特征包括可行進(jìn)路徑、幾何邊界、異常高溫區(qū)域、高劑量區(qū)域。

優(yōu)選的，所述構(gòu)建所述待構(gòu)建環(huán)境的三維導(dǎo)航地圖，包括：

基于所述可見光視頻圖像構(gòu)建稠密點(diǎn)云模型，所述稠密點(diǎn)云模型用以描繪導(dǎo)航地圖環(huán)境的物理輪廓；

將所述二維特征信息向所述稠密點(diǎn)云模型進(jìn)行特征映射，構(gòu)建多場(chǎng)信息融合的語(yǔ)義級(jí)三維導(dǎo)航地圖。

第二方面，本申請(qǐng)實(shí)施例提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如第一方面或第一方面的任意一種可能的實(shí)現(xiàn)方式提供的方法的步驟。

第三方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面或第一方面的任意一種可能的實(shí)現(xiàn)方式提供的方法。

本發(fā)明的有益效果為：1.對(duì)傳統(tǒng)幾何邊界導(dǎo)航地圖進(jìn)行了信息補(bǔ)充與增強(qiáng)，為地圖增加了紅外場(chǎng)、伽馬劑量場(chǎng)等可見光無法探測(cè)的目標(biāo)與區(qū)域，豐富了地圖的環(huán)境信息。