[發(fā)明專利]激光雷達的偽點云數(shù)據(jù)生成方法

有效

• 申請?zhí)枺?/td>: 202010163524.8
• 申請日: 2020-03-10
• 公開（公告）號: CN111292369B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設計）人: 薛松;王曙;李德祥;李文正;李乾;林春雨
• 申請（專利權(quán)）人: 中車青島四方車輛研究所有限公司
• 主分類號: G06T7/579
• 分類號: G06T7/579;G06T7/269;G06T17/00
• 代理公司: 青島清泰聯(lián)信知識產(chǎn)權(quán)代理有限公司 37256
• 代理人: 李紅巖

本發(fā)明涉及激光雷達的偽點云數(shù)據(jù)生成方法，包括：處理器選取第一彩色圖像、第二彩色圖像和第三彩色圖像；基于時間數(shù)據(jù)，獲取第二彩色圖像所對應時間數(shù)據(jù)的前后兩幀稀疏深度圖像，分別為第一稀疏深度圖像和第二稀疏深度圖像；根據(jù)選定的第一像素點的偏移位移，確定光流；根據(jù)光流、第一稀疏深度圖像和第二稀疏深度圖像，得到中間幀稀疏深度圖像；將第一稀疏深度圖像、第二稀疏深度圖像和中間幀稀疏深度圖像作為卷積神經(jīng)網(wǎng)絡的輸入，推演輸出中間幀密集深度圖像；將第二彩色圖像和中間幀密集深度圖像作為U?net網(wǎng)絡的輸入，推演輸出中間幀精細深度圖像；根據(jù)中間幀精細深度圖像中的像素點進行坐標轉(zhuǎn)換處理，得到中間幀精細深度圖像的偽點云數(shù)據(jù)。

技術(shù)領域

本發(fā)明涉及激光雷達技術(shù)領域，尤其涉及激光雷達的偽點云數(shù)據(jù)生成方法。

背景技術(shù)

近年來，無人駕駛汽車市場發(fā)展火熱，繼谷歌之后，百度、Uber等主流無人駕駛汽車研發(fā)團隊都將激光雷達作為最重要的傳感器之一，并利用激光雷達與攝像頭相結(jié)合，以實現(xiàn)對無人駕駛過程中障礙物等信息的準確判斷。

然而，激光雷達具有以下缺陷：(1)激光雷達采集的數(shù)據(jù)非常稀疏，所采集的點云數(shù)據(jù)通過投影得到的2D深度圖中，只有約4％的圖像具有像素值；(2)激光雷達的掃描頻率很低，通常的激光雷達傳感器的頻率約為10Hz。目前市面上掃描頻率最高的是Velodyne公司的64線三維激光雷達，其最高掃描頻率只能達到15Hz。

而通常與激光雷達相結(jié)合的攝像頭的頻率是120Hz以上，為了使得激光雷達和攝像頭同步，需要降低攝像頭的頻率。降低攝像頭的頻率不僅極大地浪費視頻信息資源，而且難以達到無人駕駛汽車中實時監(jiān)測的最低頻率標準25Hz。因此，通過插值技術(shù)增加激光雷達掃描的點云數(shù)據(jù)，“提高”激光雷達的頻率，是本發(fā)明提出的軟解決方案。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有技術(shù)的缺陷，提供激光雷達的偽點云數(shù)據(jù)生成方法，解決激光雷達掃描頻率過低，掃描產(chǎn)生的點云數(shù)據(jù)在時間上和空間上粒度較粗以及不準確的問題。

為實現(xiàn)上述目的，本發(fā)明提供了激光雷達的偽點云數(shù)據(jù)生成方法，所述偽點云數(shù)據(jù)生成方法包括：

處理器從數(shù)據(jù)庫中選取第一彩色圖像、第二彩色圖像和第三彩色圖像；其中，所述第一彩色圖像、第二彩色圖像和第三彩色圖像為連續(xù)三幀的彩色圖像；并且，基于時間數(shù)據(jù)，獲取第二彩色圖像所對應時間數(shù)據(jù)的前后兩幀稀疏深度圖像，分別為第一稀疏深度圖像和第二稀疏深度圖像；

建立所述第一彩色圖像和第一稀疏深度圖像的對應關(guān)系，以及第三彩色圖像和第二稀疏深度圖像的對應關(guān)系；

分別掃描所述第一彩色圖像和第三彩色圖像中的像素點，并根據(jù)選定的第一彩色圖像中的第一像素點在所述第三彩色圖像中的偏移位移，確定從所述第一彩色圖像到第二彩色圖像的光流；所述第一彩色圖像和第二彩色圖像包括多個像素點；所述像素點具有位置信息；

所述處理器根據(jù)所述光流、所述第一稀疏深度圖像和第二稀疏深度圖像中的每個像素點的像素值，進行中間幀預測處理，得到所述第一稀疏深度圖像和第二稀疏深度圖像的中間幀的中間幀稀疏深度圖像；

所述處理器將第一稀疏深度圖像、第二稀疏深度圖像和中間幀稀疏深度圖像作為卷積神經(jīng)網(wǎng)絡的輸入，通過所述卷積神經(jīng)網(wǎng)絡推演輸出中間幀的中間幀密集深度圖像；所述中間幀密集深度圖像具有時間數(shù)據(jù)；

所述處理器將所述第二彩色圖像和中間幀密集深度圖像作為U-net網(wǎng)絡的輸入，通過U-net網(wǎng)絡推演輸出中間幀的中間幀精細深度圖像；所述中間幀精細深度圖像包括多個像素點；

所述處理器根據(jù)所述中間幀精細深度圖像中的像素點進行坐標轉(zhuǎn)換處理，得到所述中間幀精細深度圖像的偽點云數(shù)據(jù)。

優(yōu)選的，所述處理器根據(jù)所述中間幀精細深度圖像中的像素點進行坐標轉(zhuǎn)換處理，得到所述中間幀精細深度圖像的點云數(shù)據(jù)具體為：