[發明專利]解決遮擋與錯誤映射的影像序列與點云數據融合的方法

有效

• 申請號: 202011058164.1
• 申請日: 2020-09-30
• 公開（公告）號: CN112308776B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 史文中;楊健博;王牧陽;田天洋;范文錚
• 申請（專利權）人: 香港理工大學深圳研究院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 謝松

本發明公開了一種解決遮擋與錯誤映射的影像序列與點云數據融合的方法，其特征在于，包括步驟：獲取影像序列中影像和所述影像對應的激光點云；根據所述影像和所述激光點云，確定激光點云點與影像像素點的投影關系；根據所述激光點云點與影像像素點的投影關系以及所述激光點云，確定所述影像對應的索引圖；根據所述索引圖、所述影像以及所述激光點云，確定所述影像對應的融合影像；對所述影像序列中所有影像各自分別對應的融合影像拼接，得到拼接圖像。由于將影像序列中各影像各自分別對應的融合影像進行拼接，不會出現因單張影像導致的遮擋和錯誤映射的問題。

技術領域

本發明涉及計算機視覺與點云數據處理技術領域，尤其涉及的是一種解決遮擋與錯誤映射的影像序列與點云數據融合的方法。

背景技術

激光雷達和相機作為兩種主要的對環境進行感知的傳感器具有其各自的優缺點，激光點云中的激光點具有準確的三維位置信息，而影像數據中有豐富的顏色信息。對激光雷達數據與影像數據進行融合的目的主要是融合激光點云數據提供的三維空間幾何信息與影像數據提供的顏色信息，相比于原始激光點云，可以提供更加豐富的信息。

現有的激光點云與影像融合方案基于已有的激光雷達與相機的轉換矩陣將單幀激光點云與影像像素點對應起來，選擇對應影像將像素點的顏色信息賦給激光點云點，然后再將多幀彩色激光點云進行拼接生成最終的彩色激光點云。

現有技術中，影像與激光雷達點云數據融合,一般通過確定相機與激光雷達的變換矩陣，然后對每一幀的激光點云和對應的影像進行激光點對應像素點的融合，容易出現遮擋及錯誤映射的問題。

因此，現有技術還有待于改進和發展。

發明內容

本發明要解決的技術問題在于，針對現有技術的上述缺陷，提供一種解決遮擋與錯誤映射的影像序列與點云數據融合的方法，旨在解決現有技術中融合時出現的遮擋及錯誤映射的的問題。

本發明解決技術問題所采用的技術方案如下：

一種解決遮擋與錯誤映射的影像序列與點云數據融合的方法，其中，包括步驟：

獲取影像序列中影像和所述影像對應的激光點云；

根據所述影像和所述激光點云，確定激光點云點與影像像素點的投影關系；

根據所述激光點云點與影像像素點的投影關系以及所述激光點云，確定所述影像對應的索引圖；

根據所述索引圖、所述影像以及所述激光點云，確定所述影像對應的融合影像；

對所述影像序列中各影像各自分別對應的融合影像拼接，得到拼接圖像。

所述的解決遮擋與錯誤映射的影像序列與點云數據融合的方法，其中，所述根據所述激光點云點與影像像素點的投影關系以及所述激光點云，確定所述影像對應的索引圖，包括:

針對所述影像的每一個像素點，根據所述激光點云點與影像像素點的投影關系，確定該像素點對應的激光點云點；

根據該像素點對應的激光點云點，確定該像素點對應的深度值；

根據所有像素點各自分別對應的深度值，確定所述影像對應的索引圖。

所述的解決遮擋與錯誤映射的影像序列與點云數據融合的方法，其中，所述影像中單個像素點對應的激光點云點有若干個；

所述根據該像素點對應的激光點云點，確定該像素點對應的深度值，包括：

根據該像素點對應的激光點云點，確定該像素點對應的目標點云點；所述目標點云點為該像素點對應的激光點云點中的一個；

將所述目標點云點的深度值作為該像素點對應的深度值。