[發(fā)明專(zhuān)利]前景點(diǎn)云和背景點(diǎn)云的融合方法、系統(tǒng)及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110473698.9
• 申請(qǐng)日: 2021-04-29
• 公開(kāi)（公告）號(hào): CN113177903B
• 公開(kāi)（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 王飛躍;王曉;田永林;沈宇;郭中正
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類(lèi)號(hào): G06T5/50
• 分類(lèi)號(hào): G06T5/50;G06T3/60;G06T3/00
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

本發(fā)明屬于點(diǎn)云融合領(lǐng)域，具體涉及了一種前景點(diǎn)云和背景點(diǎn)云的融合方法、系統(tǒng)及設(shè)備，旨在解決三維感知中前景點(diǎn)云對(duì)象與真實(shí)背景融合的不合理性以及數(shù)據(jù)樣本多樣性不足、人工重復(fù)工作、數(shù)據(jù)集生成和標(biāo)注效率低的問(wèn)題。本發(fā)明包括：將背景點(diǎn)云劃分為二維網(wǎng)格；提取非空區(qū)域底面中心點(diǎn)坐標(biāo)、高度平均值、最大值及最小值，建立二維網(wǎng)格特征圖和非空區(qū)域指示圖；構(gòu)建非空區(qū)域δ圓形鄰域，建立平坦位置指示圖；生成待放置前景目標(biāo)的尺寸縮放比例、位置偏移及多個(gè)角度值，遍歷搜索構(gòu)建每一種放置情況下的有向矩形鄰域；放置前景物體，并進(jìn)行前背景點(diǎn)云融合。本發(fā)明前景點(diǎn)云對(duì)象與點(diǎn)云背景融合合理，大幅降低人工重復(fù)工作，提高數(shù)據(jù)集生成及標(biāo)注的效率。

技術(shù)領(lǐng)域

本發(fā)明屬于點(diǎn)云融合領(lǐng)域，具體涉及了一種前景點(diǎn)云和背景點(diǎn)云的融合方法、系統(tǒng)及設(shè)備。

背景技術(shù)

隨著計(jì)算機(jī)視覺(jué)的日新月異，諸如圖像分類(lèi)，物體檢測(cè)，醫(yī)學(xué)成像和物體跟蹤之類(lèi)的2D視覺(jué)任務(wù)得到了很好的解決，并在許多領(lǐng)域得到了應(yīng)用。然而，由于數(shù)據(jù)維度的增加，3D感知任務(wù)充滿(mǎn)了挑戰(zhàn)。在諸如自動(dòng)駕駛和無(wú)人駕駛飛機(jī)等對(duì)安全性有較高要求的領(lǐng)域中，精確的3D信息理解是必不可少的。深度相機(jī)和LiDAR(光檢測(cè)和測(cè)距)是獲得3D信息的常用傳感器。與深度相機(jī)相比，LiDAR精度更高，感應(yīng)范圍更廣，因此成為許多3D感知系統(tǒng)的關(guān)鍵組件。但是，由LiDAR傳感器生成的點(diǎn)云的注釋非常耗時(shí)，且由于數(shù)據(jù)集的多樣性不足而導(dǎo)致的模型泛化性不達(dá)標(biāo)的概率也會(huì)上升，導(dǎo)致點(diǎn)云標(biāo)注的難度大和耗時(shí)長(zhǎng)。

因而，本領(lǐng)域還急需一種前背景點(diǎn)云融合方法，可以使虛擬點(diǎn)云和真實(shí)點(diǎn)云融合的更加合理，以找到將虛擬點(diǎn)放置到真實(shí)背景點(diǎn)的適當(dāng)區(qū)域。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問(wèn)題，即三維感知中前景點(diǎn)云對(duì)象與真實(shí)背景融合的不合理性以及數(shù)據(jù)樣本多樣性不足、人工重復(fù)工作、數(shù)據(jù)集生成和標(biāo)注效率低的問(wèn)題，本發(fā)明提供了一種前景點(diǎn)云和背景點(diǎn)云的融合方法，該方法包括：

步驟S10，將獲取的待融合背景點(diǎn)云在俯視圖視角下進(jìn)行二維劃分，并獲取二維劃分后的每一個(gè)二維網(wǎng)格的背景點(diǎn)云數(shù)量；

步驟S20，分別提取背景點(diǎn)云數(shù)量不為0的二維網(wǎng)格構(gòu)成的多個(gè)非空區(qū)域的底面中心點(diǎn)坐標(biāo)以及高度平均值、最大值和最小值，獲得二維網(wǎng)格特征圖和非空區(qū)域指示圖；

步驟S30，分別以每一個(gè)非空區(qū)域的中心為中心構(gòu)建圓形鄰域，并將每一個(gè)鄰域的二維網(wǎng)格的高度差異小于預(yù)設(shè)第一閾值的對(duì)應(yīng)鄰域判定為平坦，獲得平坦位置指示圖；

步驟S40，基于待融合前景點(diǎn)云對(duì)象的尺寸、縮放比例、位置偏移、多個(gè)角度值，在所述平坦位置指示圖中的平坦位置進(jìn)行角度遍歷搜索，構(gòu)建所述待融合前景點(diǎn)云對(duì)象各放置情況的有向矩形鄰域；

步驟S50，對(duì)于每一個(gè)放置情況，計(jì)算所述有向矩形鄰域所包含二維網(wǎng)格的高度差，若所述高度差小于預(yù)設(shè)第二閾值，則以該放置情況對(duì)應(yīng)的有向矩形鄰域的面積尺度和旋轉(zhuǎn)角度作為所述待融合前景點(diǎn)云對(duì)象的尺寸縮放比例和放置角度；

步驟S60，根據(jù)所述尺寸縮放比例和放置角度進(jìn)行所述待融合前景點(diǎn)云對(duì)象的放置，并進(jìn)行對(duì)應(yīng)位置的前景點(diǎn)云和背景點(diǎn)云坐標(biāo)拼接，實(shí)現(xiàn)前景點(diǎn)云和背景點(diǎn)云的融合。

在一些優(yōu)選的實(shí)施例中，所述二維網(wǎng)格中的第[i,j]個(gè)單元表示為：

C[i，j]＝{(x，y，z)|(i-1)*l_xxi*l_x，(j-1)*l_yyj*l_y}

其中，C[i,j]代表二維網(wǎng)格中的第[i,j]個(gè)單元對(duì)應(yīng)的區(qū)域，l_x和l_y分別代表長(zhǎng)和寬為L(zhǎng)_x,L_y二維網(wǎng)格的每個(gè)單元的長(zhǎng)和寬，(x,y,z)代表三維空間中點(diǎn)的x軸、y軸和z軸坐標(biāo)，*代表相乘；

所述二維網(wǎng)格特征圖為：