[發明專利]激光雷達的偽點云數據生成方法

有效

• 申請號: 202010163524.8
• 申請日: 2020-03-10
• 公開（公告）號: CN111292369B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 薛松;王曙;李德祥;李文正;李乾;林春雨
• 申請（專利權）人: 中車青島四方車輛研究所有限公司
• 主分類號: G06T7/579
• 分類號: G06T7/579;G06T7/269;G06T17/00
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 李紅巖

1.一種激光雷達的偽點云數據生成方法，其特征在于，所述偽點云數據生成方法包括：

處理器從數據庫中選取第一彩色圖像、第二彩色圖像和第三彩色圖像；其中，所述第一彩色圖像、第二彩色圖像和第三彩色圖像為連續三幀的彩色圖像；并且，基于時間數據，獲取第二彩色圖像所對應時間數據的前后兩幀稀疏深度圖像，分別為第一稀疏深度圖像和第二稀疏深度圖像；

建立所述第一彩色圖像和第一稀疏深度圖像的對應關系，以及第三彩色圖像和第二稀疏深度圖像的對應關系；

分別掃描所述第一彩色圖像和第三彩色圖像中的像素點，并根據選定的第一彩色圖像中的第一像素點在所述第三彩色圖像中的偏移位移，確定從所述第一彩色圖像到第二彩色圖像的光流；所述第一彩色圖像和第二彩色圖像包括多個像素點；所述像素點具有位置信息；

所述處理器根據所述光流、所述第一稀疏深度圖像和第二稀疏深度圖像中的每個像素點的像素值，進行中間幀預測處理，得到所述第一稀疏深度圖像和第二稀疏深度圖像的中間幀的中間幀稀疏深度圖像；

所述處理器將第一稀疏深度圖像、第二稀疏深度圖像和中間幀稀疏深度圖像作為卷積神經網絡的輸入，通過所述卷積神經網絡推演輸出中間幀的中間幀密集深度圖像；所述中間幀密集深度圖像具有時間數據；

所述處理器將所述第二彩色圖像和中間幀密集深度圖像作為U-net網絡的輸入，通過U-net網絡推演輸出中間幀的中間幀精細深度圖像；所述中間幀精細深度圖像包括多個像素點；

所述處理器根據所述中間幀精細深度圖像中的像素點進行坐標轉換處理，得到所述中間幀精細深度圖像的偽點云數據。

2.根據權利要求1所述的激光雷達的偽點云數據生成方法，其特征在于，所述處理器根據所述中間幀精細深度圖像中的像素點進行坐標轉換處理，得到所述中間幀精細深度圖像的點云數據具體為：

所述處理器根據預設的相機參數和世界坐標系得到坐標對應關系，并根據所述坐標對應關系和所述中間幀精細深度圖像中的像素點的位置信息得到所述中間幀精細深度圖像的點云數據。

3.根據權利要求1所述的激光雷達的偽點云數據生成方法，其特征在于，所述處理器從數據庫中選取第一彩色圖像、第二彩色圖像和第三彩色圖像之前，所述偽點云數據生成方法還包括：

激光雷達根據預設的掃描頻率對待測區域進行掃描，得到三維的雷達回波原始數據，并將所述雷達回波原始數據發送給所述處理器；所述雷達回波原始數據具有時間序列；并且，彩色攝像機根據預設的采樣頻率對待測區域進行圖像采集，得到多幀彩色圖像的圖像數據，并存儲到所述數據庫；所述采樣頻率大于所述掃描頻率；

所述處理器根據所述時間序列對所述三維的雷達回波原始數據進行排序，得到點云數據,并存儲到所述數據庫中；

所述處理器將所述點云數據進行映射處理，得到二維的圖像數據；

所述處理器根據單次掃描得到的所述二維的圖像數據構成一幀稀疏深度圖像，并存儲到所述數據庫中；所述稀疏深度圖像具有對應的時間數據。

4.根據權利要求1所述的激光雷達的偽點云數據生成方法，其特征在于，所述分別掃描所述第一彩色圖像和第三彩色圖像中的像素點，并根據選定的第一彩色圖像中的第一像素點在所述第三彩色圖像中的偏移位移，確定從所述第一彩色圖像到第二彩色圖像的光流具體為：

所述處理器根據所述第一像素點的位置信息和預設的最大位移確定所述第一像素點周圍的周圍像素點，并根據所述第一像素點和所述周圍像素點構成的第一像素塊；所述第一像素塊具有尺寸數據；

所述處理器在所述第三彩色圖像中查找與所述第一彩色圖像中的第一像素點的位置信息相同的第二像素點，并且根據所述第二像素點和所述尺寸數據進行像素塊匹配處理，得到與所述第一像素塊匹配的特征像素塊；

所述處理器逐一掃描所述特征像素塊中的像素點，根據第一像素點的像素值得到所述第一像素點偏移后的特征像素點；

所述處理器根據所述第一像素點和所述特征像素點的位置信息得到從所述第一彩色圖像到第二彩色圖像的光流。

5.根據權利要求1所述的激光雷達的偽點云數據生成方法，其特征在于，所述處理器根據所述光流、所述第一稀疏深度圖像和第二稀疏深度圖像中的每個像素點的像素值，進行中間幀預測處理，得到所述第一稀疏深度圖像和第二稀疏深度圖像的中間幀的中間幀稀疏深度圖像具體為：

所述處理器根據所述第一稀疏深度圖像和第二稀疏深度圖像中位置信息相同的兩個像素點的像素值進行平均計算處理，得到中間幀的像素點的平均像素值；

所述處理器根據所述光流提供的每個像素點的偏差值對所述平均像素值進行修正處理，并根據修正結果生成中間幀的中間幀稀疏深度圖像。