[發(fā)明專利]一種多模態(tài)位姿優(yōu)化的語義三維重建方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202310181777.1
• 申請(qǐng)日: 2023-02-21
• 公開（公告）號(hào): CN116342800B
• 公開（公告）日: 2023-10-24
• 發(fā)明（設(shè)計(jì)）人: 孫慶偉;晁建剛;陳煒;林萬洪;許振瑛;胡福超
• 申請(qǐng)（專利權(quán)）人: 中國航天員科研訓(xùn)練中心;中國人民解放軍戰(zhàn)略支援部隊(duì)航天工程大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00
• 代理公司: 北京安博達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國文

本發(fā)明屬于語義三維重建技術(shù)領(lǐng)域，具體涉及一種多模態(tài)位姿優(yōu)化的語義三維重建方法及系統(tǒng)，該方法包括：采集目標(biāo)區(qū)域的RGB圖像和深度圖像；對(duì)RGB圖像進(jìn)行語義分割，獲取RGB圖像的最終掩碼圖；利用RGB圖像、深度圖像和最終掩碼圖，獲取RGB圖像的全局位姿；根據(jù)深度圖像和RGB圖像的全局位姿獲取全局語義三維點(diǎn)云。本申請(qǐng)?zhí)峁┑募夹g(shù)方案，不僅對(duì)算力要求較低，適用性廣，而且提高了語義三維重建的實(shí)時(shí)性和效率。

技術(shù)領(lǐng)域

本發(fā)明屬于語義三維重建技術(shù)領(lǐng)域，具體涉及一種多模態(tài)位姿優(yōu)化的語義三維重建方法及系統(tǒng)。

背景技術(shù)

語義三維重建是對(duì)三維重建模型進(jìn)行語義標(biāo)注，將具有不同類別屬性的結(jié)構(gòu)從整體模型中分割，方便下游任務(wù)使用。決定語義三維重建質(zhì)量的重要因素之一是相機(jī)位姿的計(jì)算，關(guān)系到重建模型的優(yōu)劣和語義信息的分布。目前算法中的定位采用純幾何特征，需要設(shè)計(jì)復(fù)雜的篩選機(jī)制確定匹配點(diǎn)。語義三維重建可以劃分為語義分割、三維重建、語義映射三個(gè)部分，其中三維重建包括位姿計(jì)算和建圖。

現(xiàn)有算法中各部分相對(duì)獨(dú)立，通過松耦合的方式進(jìn)行數(shù)據(jù)通信，如語義三維重建多采用基于GPU的稠密ICP算法計(jì)算相機(jī)位姿，同時(shí)語義分割也需要占用GPU資源，不得不在運(yùn)行效率上做出妥協(xié)，整個(gè)框架過于繁重，全局優(yōu)化的規(guī)模較大。因此，目前的語義三維重建算法采用的語義分割和重建方法實(shí)時(shí)性不好，對(duì)算力要求較高，對(duì)算法整體運(yùn)行造成較大負(fù)擔(dān)，需要高性能計(jì)算機(jī)才能順暢運(yùn)行。

發(fā)明內(nèi)容

為至少在一定程度上克服相關(guān)技術(shù)中存在的問題，本申請(qǐng)?zhí)峁┮环N多模態(tài)位姿優(yōu)化的語義三維重建方法及系統(tǒng)。

根據(jù)本申請(qǐng)實(shí)施例的第一方面，提供一種多模態(tài)位姿優(yōu)化的語義三維重建方法，所述方法包括：

采集目標(biāo)區(qū)域的RGB圖像和深度圖像；

對(duì)RGB圖像進(jìn)行語義分割，獲取所述RGB圖像的最終掩碼圖；

利用所述RGB圖像、所述深度圖像和所述最終掩碼圖，獲取RGB圖像的全局位姿；

根據(jù)所述深度圖像和所述RGB圖像的全局位姿獲取全局語義三維點(diǎn)云。

優(yōu)選的，所述對(duì)RGB圖像進(jìn)行語義分割，獲取所述RGB圖像的最終掩碼圖，包括：

利用基于深度學(xué)習(xí)的STDC網(wǎng)絡(luò)，對(duì)RGB圖像進(jìn)行語義分割，得到RGB圖像中各像素點(diǎn)的語義類別概率；

令各像素點(diǎn)的語義類別概率中概率最大的類別對(duì)應(yīng)的類別編碼為各像素點(diǎn)的掩碼，得到RGB圖像的初始掩碼圖；

利用超像素分割方法gSLICr對(duì)所述RGB圖像的初始掩碼圖進(jìn)行邊緣優(yōu)化，得到RGB圖像的最終掩碼圖。

優(yōu)選的，所述利用所述RGB圖像、所述深度圖像和所述最終掩碼圖，獲取RGB圖像的全局位姿，包括：

提取所述RGB圖像的ORB特征點(diǎn)；

獲取所述ORB特征點(diǎn)在所述深度圖像中的深度值，并利用所述ORB特征點(diǎn)在所述深度圖像中的深度值，對(duì)所述ORB特征點(diǎn)的二維坐標(biāo)進(jìn)行投影坐標(biāo)轉(zhuǎn)換，得到所述ORB特征點(diǎn)在三維空間中的坐標(biāo)；

基于所述ORB特征點(diǎn)在三維空間中的坐標(biāo)和所述最終掩碼圖，利用稀疏SLAM方法獲取RGB圖像的全局位姿。

優(yōu)選的，所述基于所述ORB特征點(diǎn)在三維空間中的坐標(biāo)和所述最終掩碼圖，利用稀疏SLAM方法獲取RGB圖像的全局位姿，包括：

提取相鄰的兩幀RGB圖像中BRIEF描述子相同的ORB特征點(diǎn)；

利用所述最終掩碼圖，剔除相鄰的兩幀RGB圖像中BRIEF描述子相同的ORB特征點(diǎn)中的外點(diǎn)，并令剔除外點(diǎn)后的相鄰的兩幀RGB圖像中BRIEF描述子相同的ORB特征點(diǎn)為匹配點(diǎn)；