[發(fā)明專(zhuān)利]三維場(chǎng)景圖的生成方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202211311137.X
• 申請(qǐng)日: 2022-10-25
• 公開(kāi)（公告）號(hào): CN115393386B
• 公開(kāi)（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 汪鵬飛;馬子昂
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州華橙軟件技術(shù)有限公司
• 主分類(lèi)號(hào): G06T7/215
• 分類(lèi)號(hào): G06T7/215;G06T7/246;G06T7/33;G06T7/73;G06T17/05
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 嚴(yán)翠霞

1.一種三維場(chǎng)景圖的生成方法，其特征在于，所述三維場(chǎng)景圖的生成方法包括：

獲取目標(biāo)場(chǎng)景的RGB圖像、深度圖像和圖像采集設(shè)備采集所述RGB圖像和所述深度圖像時(shí)的位姿信息；

基于所述RGB圖像中的RGB顏色信息，對(duì)所述RGB圖像進(jìn)行全景分割，得到所述目標(biāo)場(chǎng)景的語(yǔ)義信息；

對(duì)所述RGB圖像和所述深度圖像進(jìn)行配準(zhǔn)，得到對(duì)應(yīng)的RGBD圖像，所述RGBD圖像將所述目標(biāo)場(chǎng)景的語(yǔ)義信息映射到三維空間；

基于所述RGBD圖像和所述圖像采集設(shè)備采集所述RGB圖像和所述深度圖像時(shí)的位姿信息，得到所述目標(biāo)場(chǎng)景的特征點(diǎn)數(shù)據(jù)；所述特征點(diǎn)數(shù)據(jù)包括：特征點(diǎn)的三維坐標(biāo)信息、法向量信息、RGB顏色信息以及語(yǔ)義信息標(biāo)簽；

基于所述目標(biāo)場(chǎng)景的特征點(diǎn)數(shù)據(jù)，生成由所述特征點(diǎn)構(gòu)成的多個(gè)語(yǔ)義面片，形成所述目標(biāo)場(chǎng)景的三維語(yǔ)義地圖；所述三維語(yǔ)義地圖由多個(gè)所述語(yǔ)義面片組成，所述語(yǔ)義面片通過(guò)三角網(wǎng)格進(jìn)行表示，每個(gè)頂點(diǎn)連接三個(gè)頂點(diǎn)，頂點(diǎn)之間由邊進(jìn)行連接，所述語(yǔ)義面片之間的關(guān)聯(lián)性由所述頂點(diǎn)和所述邊確定，所述邊包含所述頂點(diǎn)之間的距離信息，所述語(yǔ)義面片的頂點(diǎn)數(shù)據(jù)包含三維坐標(biāo)信息、法向量信息、RGB顏色信息以及語(yǔ)義標(biāo)簽信息；

根據(jù)所述三維語(yǔ)義地圖生成所述目標(biāo)場(chǎng)景中各目標(biāo)對(duì)象對(duì)應(yīng)的場(chǎng)景模型，以形成所述目標(biāo)場(chǎng)景的三維場(chǎng)景圖；

其中，所述目標(biāo)對(duì)象包括可移動(dòng)物體；所述RGB圖像和所述深度圖像包括所述圖像采集設(shè)備采集的各時(shí)刻的多幀圖像，所述三維語(yǔ)義地圖包括各時(shí)刻對(duì)應(yīng)的三維語(yǔ)義地圖；

所述根據(jù)所述三維語(yǔ)義地圖生成所述目標(biāo)場(chǎng)景中各目標(biāo)對(duì)象對(duì)應(yīng)的場(chǎng)景模型，包括：

分別對(duì)每個(gè)時(shí)刻對(duì)應(yīng)的三維語(yǔ)義地圖中的各語(yǔ)義面片提取語(yǔ)義標(biāo)簽信息，獲取每個(gè)時(shí)刻中包含有相同的可移動(dòng)物體所對(duì)應(yīng)的語(yǔ)義標(biāo)簽信息的所有語(yǔ)義面片；

從每個(gè)時(shí)刻中包含有相同的可移動(dòng)物體所對(duì)應(yīng)的語(yǔ)義標(biāo)簽信息的所有語(yǔ)義面片中，確定出每個(gè)所述可移動(dòng)物體對(duì)應(yīng)的語(yǔ)義面片集；

根據(jù)所述每個(gè)時(shí)刻中每個(gè)所述可移動(dòng)物體對(duì)應(yīng)的語(yǔ)義面片集，采取從語(yǔ)義到實(shí)例的數(shù)據(jù)關(guān)聯(lián)匹配方法獲取每個(gè)所述可移動(dòng)物體的運(yùn)動(dòng)信息，并基于所述運(yùn)動(dòng)信息生成每個(gè)所述可移動(dòng)物體對(duì)應(yīng)的場(chǎng)景模型，所述可移動(dòng)物體對(duì)應(yīng)的場(chǎng)景模型包括所述可移動(dòng)物體的三維軌跡信息、3D網(wǎng)格模型以及語(yǔ)義標(biāo)簽信息；

其中，所述根據(jù)所述每個(gè)時(shí)刻中每個(gè)所述可移動(dòng)物體對(duì)應(yīng)的語(yǔ)義面片集，采取從語(yǔ)義到實(shí)例的數(shù)據(jù)關(guān)聯(lián)匹配方法獲取每個(gè)所述可移動(dòng)物體的運(yùn)動(dòng)信息，包括：

提取相鄰兩幀圖像中每個(gè)所述可移動(dòng)物體的幾何中心信息，構(gòu)建所述相鄰兩幀圖像的語(yǔ)義面片之間的距離代價(jià)矩陣，基于所述距離代價(jià)矩陣通過(guò)匈牙利匹配算法計(jì)算所述相鄰兩幀圖像中屬于最佳匹配的可移動(dòng)物體，基于語(yǔ)義標(biāo)簽信息的一致性對(duì)所述屬于最佳匹配的可移動(dòng)物體進(jìn)行篩選，得到每個(gè)所述可移動(dòng)物體在所述相鄰兩幀圖像中的粗匹配結(jié)果；

對(duì)所述粗匹配結(jié)果對(duì)應(yīng)的每個(gè)所述可移動(dòng)物體在所述相鄰兩幀圖像中的語(yǔ)義面片進(jìn)行奇異值分解，將最小特征值所在的向量作為投影軸，以每個(gè)所述可移動(dòng)物體的幾何中心為原點(diǎn)進(jìn)行2D投影，對(duì)投影后的2D物體提取輪廓并對(duì)輪廓相似度進(jìn)行匹配；

對(duì)于所述輪廓相似度匹配成功的可移動(dòng)物體，將該可移動(dòng)物體在所述相鄰兩幀圖像之間的語(yǔ)義面片進(jìn)行融合，將融合后的語(yǔ)義面片作為該可移動(dòng)物體在所述相鄰兩幀圖像中的后一幀圖像的語(yǔ)義面片并保存，同時(shí)計(jì)算該可移動(dòng)物體在所述相鄰兩幀圖像之間的位置差，基于所述位置差確定該可移動(dòng)物體的速度信息，根據(jù)該可移動(dòng)物體的速度信息預(yù)測(cè)該可移動(dòng)物體在所述相鄰兩幀圖像中的后一幀圖像的新的幾何中心信息并保存。

2.根據(jù)權(quán)利要求1所述的三維場(chǎng)景圖的生成方法，其特征在于，所述目標(biāo)對(duì)象包括靜態(tài)物體；

所述根據(jù)所述三維語(yǔ)義地圖生成所述目標(biāo)場(chǎng)景中各目標(biāo)對(duì)象對(duì)應(yīng)的場(chǎng)景模型，包括：

對(duì)所述三維語(yǔ)義地圖中的各語(yǔ)義面片提取語(yǔ)義標(biāo)簽信息，獲取包含有相同的靜態(tài)物體所對(duì)應(yīng)的語(yǔ)義標(biāo)簽信息的所有語(yǔ)義面片；

通過(guò)空間距離對(duì)所述包含有相同的靜態(tài)物體所對(duì)應(yīng)的語(yǔ)義標(biāo)簽信息的所有語(yǔ)義面片進(jìn)行聚類(lèi)優(yōu)化，得到每個(gè)所述靜態(tài)物體對(duì)應(yīng)的語(yǔ)義面片集；

根據(jù)每個(gè)所述靜態(tài)物體對(duì)應(yīng)的語(yǔ)義面片集，生成每個(gè)所述靜態(tài)物體對(duì)應(yīng)的場(chǎng)景模型，所述靜態(tài)物體對(duì)應(yīng)的場(chǎng)景模型包括所述靜態(tài)物體的三維位姿信息、3D包圍盒以及語(yǔ)義標(biāo)簽信息。