[發明專利]激光雷達與相機數據的時空同步系統、裝置及可讀介質

在審

• 申請號: 202011069485.1
• 申請日: 2020-09-30
• 公開（公告）號: CN112230240A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 陳海波;吳在剛;周源思;張保群
• 申請（專利權）人: 深蘭人工智能（深圳）有限公司
• 主分類號: G01S17/86
• 分類號: G01S17/86;G01S17/931;G01S7/497
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

本發明公開了一種激光雷達與相機數據的時空同步系統，包括：FPGA本地時鐘校正模塊、FPGA與激光雷達同步模塊；FPGA觸發相機模塊將包含相機內部時間戳相機的圖片發送至工控機；相機圖片時間戳模塊，FPGA接收相機曝光時產生的閃光燈脈沖，給相機圖片的曝光時刻標記上FPGA時鐘系統下的時間戳；時間戳匹配模塊，FPGA觸發相機模塊發送的帶有相機內部時間戳相機圖片，接收FPGA發送的帶有FPGA時鐘系統下的時間戳的相機圖片進行匹配；點云數據補償及融合模塊，將點云補償到相機曝光時刻的位置；再根據測量的激光雷達和相機的外參，對點云數據和相機圖片進行對準融合。本發明實現相機與激光雷達的同步采集。

技術領域

本發明涉及自動駕駛技術領域，具體涉及車輛激光雷達、相機兩種傳感器的時間同步與空間對準的方法。

背景技術

目前的自動駕駛系統包括感知、定位、決策規劃、控制等模塊，這些模塊的正常運行需要依靠各種不同類型的傳感器數據的準確融合。尤其是激光雷達與相機這兩種傳感器在感、知定位模塊中起著至關重要的作用。機械式旋轉掃描激光雷達本身較低的掃描頻率，而車輛經常運行在高速、高機動的運動狀態下，造成激光雷達測量的點云會產生運動畸變。而在激光雷達與相機圖片的融合過程中，也會由于數據采集的不同步造成的一定測量偏差，這個偏差會隨著車輛的運動速度增加而被放大。在車輛高速行駛時，即使是微小的時間偏差會對最終的激光點云和圖像的時空對準造成影響，進而對融合定位、融合感知等的結果造成很大的偏差，從而影響自動駕駛的安全運行。為了滿足自動駕駛系統對安全性和穩定性的高要求，需要保證不同傳感器數據融合的準確性和可靠性。現有技術中的無人機電力巡檢的多傳感器時間同步方法與系統，采用ARM系統進行PPS脈沖的檢測和處理，實時性較差，精度不高。不滿足自動駕駛領域的需求。

現有技術中的多路高速脈沖輸入時間同步設備，采用MCU做為脈沖檢測和處理設備，同時進行了RS232到網口的轉換，時間同步精度和系統可靠性均不滿足自動駕駛需求。

發明內容

1、本發明的目的

本發明為了解決激光雷達與相機的時間同步和空間對準問題，而提出了一種激光雷達與相機數據的時空同步方法。

2、本發明所采用的技術方案

本發明提供了一種激光雷達與相機數據的時空同步系統，包括：FPGA本地時鐘校正模塊、FPGA與激光雷達同步模塊；

FPGA觸發相機模塊，將包含相機內部時間戳相機的圖片，發送至工控機；

相機圖片時間戳模塊，FPGA接收相機曝光時產生的閃光燈脈沖，給相機圖片的曝光時刻標記上FPGA時鐘系統下的時間戳，通過串口發送給工控機；

時間戳匹配模塊，FPGA觸發相機模塊發送的帶有相機內部時間戳相機圖片，以及接收到的FPGA發送的帶有FPGA時鐘系統下的時間戳的相機圖片進行匹配，調整FPGA對相機的觸發脈沖頻率，添加相機曝光觸發脈沖；

點云數據補償及融合模塊，對FPGA與激光雷達同步模塊獲取的具有時間戳的激光點云數據和帶有時間戳的相機圖片，利用測量出的運動信息，先對點云數據進行運動畸變補償，將點云補償到相機曝光時刻的位置；再根據測量的激光雷達和相機的外參，對采集到的激光三維點云數據和相機圖片進行對準融合。

優選的，FPGA本地時鐘校正模塊，組合慣導模塊產生的PPS秒脈沖+GPRMC報文傳輸至FPGA，對本地時鐘進行校正；如GNSS信號受阻時，FPGA的自身晶振保持時鐘精度。

優選的，FPGA與激光雷達同步模塊，FPGA發送PPS秒脈沖+GPRMC報文至激光雷達，使激光雷達內部的時鐘系統與FPGA的時鐘系統同步；激光雷達將具備時間戳的點云數據發送給工控機。