[發(fā)明專利]一種激光融合多目相機(jī)的語(yǔ)義實(shí)景三維重建方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110656175.8
• 申請(qǐng)日: 2021-06-11
• 公開（公告）號(hào): CN113362247B
• 公開（公告）日: 2023-08-15
• 發(fā)明（設(shè)計(jì)）人: 皇攀凌;歐金順;周軍;林樂彬;趙一凡;李留昭
• 申請(qǐng)（專利權(quán)）人: 山東大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T7/11;G06T7/521;G06T7/80;G06T17/00
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張慶騫

1.一種激光融合多目相機(jī)的語(yǔ)義實(shí)景三維重建方法，其特征在于，包括：

獲取多目相機(jī)圖像并校正多目相機(jī)圖像；

獲取激光點(diǎn)云數(shù)據(jù)及視覺慣性里程計(jì)數(shù)據(jù)，根據(jù)時(shí)間戳將激光點(diǎn)云數(shù)據(jù)與視覺慣性里程計(jì)數(shù)據(jù)對(duì)齊來校正激光點(diǎn)云數(shù)據(jù)；

具體地，利用激光雷達(dá)獲得原始點(diǎn)云數(shù)據(jù)，慣性測(cè)量單元和相機(jī)獲取視覺慣性里程計(jì)數(shù)據(jù)，根據(jù)時(shí)間戳將激光點(diǎn)云數(shù)據(jù)與視覺慣性里程計(jì)數(shù)據(jù)進(jìn)行對(duì)齊，其中視覺慣性里程計(jì)位姿信息由慣性測(cè)量單元數(shù)據(jù)、圖像數(shù)據(jù)及它們之間的外參計(jì)算優(yōu)化得到，根據(jù)視覺慣性里程計(jì)的位姿信息將激光坐標(biāo)系下的點(diǎn)云_PL校正到世界坐標(biāo)系下用_PW表示，其中是激光雷達(dá)數(shù)據(jù)轉(zhuǎn)換到到視覺慣性里程計(jì)的坐標(biāo)變換；

插值校正后的激光點(diǎn)云數(shù)據(jù)，得到稠密點(diǎn)云并將其投影到成像平面，再與校正后的多目相機(jī)圖像的像素進(jìn)行匹配，得到各幀帶有RGB信息的稠密點(diǎn)云再疊加后得到實(shí)景點(diǎn)云；

從校正后的多目相機(jī)圖像獲取語(yǔ)義信息，得到實(shí)例對(duì)象點(diǎn)云并將其與實(shí)景點(diǎn)云融合，得到語(yǔ)義實(shí)景重建的三維模型；

所述實(shí)例對(duì)象點(diǎn)云與實(shí)景點(diǎn)云融合的過程為：

對(duì)該實(shí)例對(duì)象點(diǎn)云進(jìn)行離群點(diǎn)剔除，得到優(yōu)化后的點(diǎn)云實(shí)例對(duì)象，為每個(gè)點(diǎn)云實(shí)例對(duì)象分配一個(gè)id；

對(duì)單幀點(diǎn)云中不同id的實(shí)例對(duì)象在局部范圍內(nèi)進(jìn)行融合；

對(duì)于不同幀點(diǎn)云中的實(shí)例對(duì)象在全局范圍內(nèi)進(jìn)行融合。

2.如權(quán)利要求1所述的激光融合多目相機(jī)的語(yǔ)義實(shí)景三維重建方法，其特征在于，在局部范圍和全局范圍內(nèi)融合的條件均為：①具有相同的實(shí)例對(duì)象的類別，②兩實(shí)例對(duì)象的形心距離在設(shè)定閾值內(nèi)，③兩實(shí)例對(duì)象ICP匹配的重合度在設(shè)定閾值內(nèi)。

3.如權(quán)利要求1所述的激光融合多目相機(jī)的語(yǔ)義實(shí)景三維重建方法，其特征在于，將實(shí)例對(duì)象在圖像中所占的像素區(qū)域與校正后的激光點(diǎn)云數(shù)據(jù)進(jìn)行重投影對(duì)齊，得到不同實(shí)例對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)，即實(shí)例對(duì)象點(diǎn)云數(shù)據(jù)。

4.如權(quán)利要求1所述的激光融合多目相機(jī)的語(yǔ)義實(shí)景三維重建方法，其特征在于，利用預(yù)先標(biāo)定好的相機(jī)內(nèi)參、畸變系數(shù)及畸變模型進(jìn)行去畸變處理得到校正后的多目相機(jī)圖像。

5.如權(quán)利要求1所述的激光融合多目相機(jī)的語(yǔ)義實(shí)景三維重建方法，其特征在于，使用深度神經(jīng)網(wǎng)絡(luò)的實(shí)例分割算法對(duì)當(dāng)前幀的校正后的多目相機(jī)圖像提取出圖像中的各個(gè)實(shí)例，得到各實(shí)例的mask和class，其中mask是實(shí)例對(duì)象在圖像中所占的像素區(qū)域，class是實(shí)例對(duì)象的類別。

6.如權(quán)利要求1所述的激光融合多目相機(jī)的語(yǔ)義實(shí)景三維重建方法，其特征在于，插值校正后的激光點(diǎn)云數(shù)據(jù)之前，還包括：

對(duì)于校正好的每一幀激光點(diǎn)云數(shù)據(jù)，按照時(shí)間戳在校正后的多目相機(jī)圖像中找到對(duì)應(yīng)圖像及其相機(jī)ID，利用相機(jī)ID獲得預(yù)先標(biāo)定好的相機(jī)內(nèi)參、畸變系數(shù)及其與激光雷達(dá)之間的外參；

使用當(dāng)前相機(jī)與激光雷達(dá)之間的外參將校正后的點(diǎn)云數(shù)據(jù)重投影到相機(jī)成像范圍內(nèi)，提取相機(jī)視野內(nèi)的點(diǎn)云，過濾掉不在相機(jī)成像范圍內(nèi)的點(diǎn)云。