[發(fā)明專利]一種地形地質(zhì)在線語義識別方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202011509843.6
• 申請日: 2020-12-18
• 公開（公告）號: CN112257817B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 李月華;李小倩;朱世強(qiáng);謝天;費哲遙;何偉
• 申請（專利權(quán)）人: 之江實驗室
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 應(yīng)孔月

本申請公開了一種地形地質(zhì)在線語義識別方法、裝置及電子設(shè)備，包括：利用IMU傳感器和相機(jī)分別獲取振動信息和圖像信息；利用寬度學(xué)習(xí)模型對所述振動信息進(jìn)行地形地質(zhì)預(yù)測，獲得地形地質(zhì)語義分類結(jié)果；利用振動信息和圖像信息計算探測器在空間中的行駛軌跡，并生成圖像和振動信息的匹配關(guān)系；根據(jù)所述匹配關(guān)系和所述地形地質(zhì)語義分類結(jié)果，生成圖像信息與地形地質(zhì)語義分類的映射，將其作為圖像與地形地質(zhì)語義信息映射的真值；基于神經(jīng)網(wǎng)絡(luò)搭建地形地質(zhì)在線學(xué)習(xí)與語義分類模型，并訓(xùn)練所述地形地質(zhì)在線學(xué)習(xí)與語義分類模型；輸入待識別的圖像信息至所述地形地質(zhì)在線學(xué)習(xí)與語義分類模型中，獲取語義分類結(jié)果，實現(xiàn)地形地質(zhì)在線語義識別預(yù)測。

技術(shù)領(lǐng)域

本申請涉及語義識別技術(shù)領(lǐng)域，尤其涉及一種地形地質(zhì)在線語義識別方法、裝置及電子設(shè)備。

背景技術(shù)

目前探測器感知系統(tǒng)具備較為先進(jìn)的環(huán)境探測與導(dǎo)航能力，但是對于巡視地形的認(rèn)知與分類仍無法滿足實際的應(yīng)用需求，目前探測器主要依靠視覺作為解決方案，有些問題還未解決：視覺傳感設(shè)備僅能對環(huán)境外部結(jié)構(gòu)、顏色等特征進(jìn)行有效提取和識別，無法對材質(zhì)和力學(xué)等特征進(jìn)行精確感知，探測系統(tǒng)不具備對地形的力學(xué)特性如軟硬程度等物理屬性的認(rèn)知能力，從而無法對地形的進(jìn)行較好的預(yù)判。

發(fā)明內(nèi)容

本申請實施例的目的是提供一種地形地質(zhì)在線語義識別方法、裝置及電子設(shè)備，以解決相關(guān)技術(shù)無法對地形進(jìn)行較好的預(yù)判的問題。

根據(jù)本申請實施例的第一方面，提供一種地形地質(zhì)在線語義識別方法，包括：利用與探測器剛性聯(lián)結(jié)的IMU傳感器采集探測器在某一地形中運動的振動信息，利用與探測器剛性聯(lián)結(jié)的相機(jī)采集所述地形的圖像信息；對所述振動信息進(jìn)行預(yù)處理，得到所述振動信息的特征描述，并利用寬度學(xué)習(xí)模型對所述特征描述進(jìn)行地形地質(zhì)預(yù)測，獲得基于振動信息的地形地質(zhì)語義分類結(jié)果；利用所述振動信息和所述圖像信息探測器在空間中的行駛軌跡，根據(jù)所述行駛軌跡和IMU傳感器與相機(jī)的空間位置關(guān)系，計算圖像和振動信息的匹配關(guān)系；根據(jù)所述匹配關(guān)系和所述基于振動信息的地形地質(zhì)語義分類結(jié)果，生成圖像信息與地形地質(zhì)語義分類的映射，將所述映射作為圖像與地形地質(zhì)語義信息映射的真值；基于神經(jīng)網(wǎng)絡(luò)搭建地形地質(zhì)在線學(xué)習(xí)與語義分類模型，根據(jù)所述真值，訓(xùn)練所述地形地質(zhì)在線學(xué)習(xí)與語義分類模型；輸入待識別的圖像信息至所述地形地質(zhì)在線學(xué)習(xí)與語義分類模型中，獲取語義分類結(jié)果，實現(xiàn)地形地質(zhì)在線語義識別預(yù)測。

根據(jù)本申請實施例的第二方面，提供一種地形地質(zhì)在線語義識別裝置，包括：獲取模塊，用于利用與探測器剛性聯(lián)結(jié)的IMU傳感器采集探測器在某一地形中運動的振動信息，利用與探測器剛性聯(lián)結(jié)的相機(jī)采集所述地形的圖像信息；分類模塊，對所述振動信息進(jìn)行預(yù)處理，得到所述振動信息的特征描述，并利用寬度學(xué)習(xí)模型對所述特征描述進(jìn)行地形地質(zhì)預(yù)測，獲得基于振動信息的地形地質(zhì)語義分類結(jié)果；配準(zhǔn)模塊，利用所述振動信息和所述圖像信息探測器在空間中的行駛軌跡，根據(jù)所述行駛軌跡和IMU傳感器與相機(jī)的空間位置關(guān)系，計算圖像和振動信息的匹配關(guān)系；真值生成模塊，用于根據(jù)所述匹配關(guān)系和所述基于振動信息的地形地質(zhì)語義分類結(jié)果，生成圖像信息與地形地質(zhì)語義分類的映射，將所述映射作為圖像與地形地質(zhì)語義信息映射的真值；模型訓(xùn)練模塊，用于基于神經(jīng)網(wǎng)絡(luò)搭建地形地質(zhì)在線學(xué)習(xí)與語義分類模型，根據(jù)所述真值，訓(xùn)練所述地形地質(zhì)在線學(xué)習(xí)與語義分類模型；識別模塊，用于輸入待識別的圖像信息至所述地形地質(zhì)在線學(xué)習(xí)與語義分類模型中，獲取語義分類結(jié)果，實現(xiàn)地形地質(zhì)在線語義識別預(yù)測。

根據(jù)本申請實施例的第三方面，提供一種電子設(shè)備，包括：一個或多個處理器；存儲器，用于存儲一個或多個程序；當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)如第一方面所述的方法。

本申請的實施例提供的技術(shù)方案可以包括以下有益效果：