[發(fā)明專利]一種基于二維圖像灰度進行深度預(yù)測的點云密度提升方法

有效

• 申請?zhí)枺?/td>: 201911366232.8
• 申請日: 2019-12-26
• 公開（公告）號: CN111161338B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計）人: 王曰海;李晨康;李東洋;李春光
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/80;G06T7/90;G06T3/40
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

本發(fā)明公開了一種基于二維圖像灰度進行深度預(yù)測的點云密度提升方法，包括：采集圖像數(shù)據(jù)和世界坐標(biāo)系的三維點云數(shù)據(jù)；標(biāo)定出相機的內(nèi)參矩陣和外參矩陣；利用外參矩陣，將世界坐標(biāo)系的三維點云數(shù)據(jù)轉(zhuǎn)換為相機坐標(biāo)系的三維點云數(shù)據(jù)；利用內(nèi)參矩陣，將相機坐標(biāo)系的三維點云數(shù)據(jù)轉(zhuǎn)換為像素坐標(biāo)系的二維圖像坐標(biāo)；將二維圖像坐標(biāo)與圖像數(shù)據(jù)進行像素點匹配；將未匹配到的像素點的深度值設(shè)置為0；對深度值s為0的像素點進行深度預(yù)測，得到的預(yù)測深度值作為該像素點的深度值；將深度值不為0的像素點所對應(yīng)的二維圖像坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系的三維點云數(shù)據(jù)，完成點云密度的提升。

技術(shù)領(lǐng)域

本發(fā)明涉及智能駕駛技術(shù)領(lǐng)域，具體涉及一種基于二維圖像灰度進行深度預(yù)測的點云密度提升方法。

背景技術(shù)

點云密度是機載激光雷達(light detection and ranging，LiDAR)點云數(shù)據(jù)的重要特征，也是硬件制造、數(shù)據(jù)采集、數(shù)據(jù)處理及數(shù)據(jù)應(yīng)用中常用的關(guān)鍵指標(biāo)。隨著波形數(shù)據(jù)采集儀、多波束(MPIA)技術(shù)、多頻率技術(shù)、多激光掃描頭等軟硬件技術(shù)的出現(xiàn)，以及激光發(fā)射頻率的快速提高，LiDAR點云密集程度一直在提高，不斷推動LiDAR技術(shù)的應(yīng)用，使得以前在稀疏數(shù)據(jù)中無法體現(xiàn)的特征和規(guī)律，在當(dāng)前點云密集分布的狀態(tài)下，已經(jīng)被清晰地展現(xiàn)出來。

激光雷達基于電磁波反射的原理實現(xiàn)數(shù)據(jù)采集，由于不同物體的反射特性是不同的，比如平坦的路面以及墻面反射強會采集到較多的數(shù)據(jù)點，而水面和樹木等反射性差導(dǎo)致采集得到點云數(shù)據(jù)較為稀疏；由此，激光雷達采集到的點云往往是不均勻的。

公開號為CN106886980A公開了一種基于三維激光雷達目標(biāo)識別的點云密度增強的方法，包括：通過三維激光雷達測量目標(biāo)的初始點云數(shù)據(jù)，確定所述初始點云數(shù)據(jù)中的目標(biāo)包圍體；以所述目標(biāo)包圍體的中心為原點構(gòu)建局部坐標(biāo)系，將所述初始點云數(shù)據(jù)從初始的雷達坐標(biāo)系下轉(zhuǎn)換到所述局部坐標(biāo)系下得到轉(zhuǎn)換后點云數(shù)據(jù)；基于徑向插值函數(shù)RBF和所述轉(zhuǎn)換后點云數(shù)據(jù)構(gòu)建三維曲面；基于所述三維曲面進行點云重采樣以生成新的點云。

目前常采用空間插值的方式解決點云密度低以及點云密度不均勻的問題，所述的空間插值包括最近鄰插法、距離反比插值法和多項插值法；其中，最簡單的插值算法是最近鄰插值，根據(jù)最近的已知點來代替待插值點信息，該算法簡單高效，但缺乏對點云空間結(jié)構(gòu)的考慮，導(dǎo)致算法容易受噪聲點影響；距離反比插值法，是通過對鄰域內(nèi)多個點的信息融合預(yù)測出待插值點，以點間的距離的冪次方的倒數(shù)作為參考權(quán)重的插值方法，但算法對冪次方的選擇比較敏感，選擇不好容易產(chǎn)生平滑效應(yīng)。多項式插值，通過對已知點的信息估計出特定的插值模型函數(shù)來預(yù)測待插值點，該算法計算復(fù)雜度高，對點云數(shù)據(jù)要求高。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于二維圖像灰度進行深度預(yù)測的點云密度提升方法，所述的點云密度提升方法中利用二維圖像灰度信息對圖像進行深度預(yù)測，提升了激光雷達采集的點云密度，有效防止了在二維圖像距離接近的而在三維空間相隔較遠(yuǎn)的兩個物體引起的深度預(yù)測誤差。

一種基于二維圖像灰度進行深度預(yù)測的點云密度提升方法，包括：

步驟1、統(tǒng)一相機和激光雷達的采集頻率，同時采集圖像，得到圖像數(shù)據(jù)和世界坐標(biāo)系三維點云數(shù)據(jù)；所述的數(shù)據(jù)圖像具有相同時間戳或誤差在10微秒以內(nèi)。

步驟2、標(biāo)定出相機的內(nèi)參矩陣和外參矩陣，所述的內(nèi)參矩陣的計算公式具體為式1所示；

其中，fx與fy為圖像坐標(biāo)系中一個像素點所代表實際x、y方向的距離；(u₀，v₀)為相機光軸與實際平面的交點坐標(biāo)。

所述的外參矩陣的計算公式具體為式2所示；

其中，R為3×3的旋轉(zhuǎn)矩陣；t為1×3的三維平移矩陣。