[發明專利]激光雷達與相機數據的時空同步系統、裝置及可讀介質

在審

• 申請號: 202011069485.1
• 申請日: 2020-09-30
• 公開（公告）號: CN112230240A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 陳海波;吳在剛;周源思;張保群
• 申請（專利權）人: 深蘭人工智能（深圳）有限公司
• 主分類號: G01S17/86
• 分類號: G01S17/86;G01S17/931;G01S7/497
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

1.一種激光雷達與相機數據的時空同步系統，其特征在于，包括：FPGA本地時鐘校正模塊、FPGA與激光雷達同步模塊；

FPGA觸發相機模塊，將包含相機內部時間戳相機的圖片，發送至工控機；

相機圖片時間戳模塊，FPGA接收相機曝光時產生的閃光燈脈沖，給相機圖片的曝光時刻標記上FPGA時鐘系統下的時間戳，通過串口發送給工控機；

時間戳匹配模塊，FPGA觸發相機模塊發送的帶有相機內部時間戳相機圖片，以及接收到的FPGA發送的帶有FPGA時鐘系統下的時間戳的相機圖片進行匹配，調整FPGA對相機的觸發脈沖頻率，添加相機曝光觸發脈沖；

點云數據補償及融合模塊，對FPGA與激光雷達同步模塊獲取的具有時間戳的激光點云數據和帶有時間戳的相機圖片，利用測量出的運動信息，先對點云數據進行運動畸變補償，將點云補償到相機曝光時刻的位置；再根據測量的激光雷達和相機的外參，對采集到的激光三維點云數據和相機圖片進行對準融合。

2.根據權利要求1所述的激光雷達與相機數據的時空同步系統，其特征在于，FPGA本地時鐘校正模塊，組合慣導模塊產生的PPS秒脈沖+GPRMC報文傳輸至FPGA，對本地時鐘進行校正；如GNSS信號受阻時，FPGA的自身晶振保持時鐘精度。

3.根據權利要求2所述的激光雷達與相機數據的時空同步系統，其特征在于，FPGA與激光雷達同步模塊，FPGA發送PPS秒脈沖+GPRMC報文至激光雷達，使激光雷達內部的時鐘系統與FPGA的時鐘系統同步；激光雷達將具備時間戳的點云數據發送給工控機。

4.根據權利要求3所述的激光雷達與相機數據的時空同步系統，其特征在于，FPGA觸發相機模塊，FPGA對相機定時發送觸發脈沖，脈沖頻率與激光雷達的掃描頻率一致；設置激光雷達的相位鎖定角度與實際安裝的相機鏡頭的視角一致，實現激光雷達和相機數據同步采集；相機的圖片，包含相機內部時間戳，發送至工控機。

5.根據權利要求1所述的激光雷達與相機數據的時空同步系統，其特征在于，所述的時間戳匹配模塊，FPGA對相機觸發同步：設置相機為硬觸發模式；FPGA觸發信號以固定的時間間隔周期性產生觸發脈沖，但每隔更長的時間間隔添加一個相機曝光觸發脈沖，使得FPGA曝光時間序列與相機內部時間序列的一一對齊，用以輔助匹配糾錯和觸發相機曝光；并將對齊后的FPGA時間序列中的時間戳與相應圖像數據一起封裝。

6.根據權利要求1所述的激光雷達與相機數據的時空同步系統，其特征在于，所述的FPGA與激光雷達同步模塊，FPGA對激光雷達授時及設置激光雷達掃描相位與相機拍照同步：在GPS板卡內設定PPS的周期；GPS板卡對FPGA授時，FPGA轉發PPS脈沖和GPRMC時間信息給激光雷達；激光雷達檢測到第一個PPS到來后，串口解析GPS板卡輸出報文GPRMC，得到UTC時間；等待下一個PPS到來時，將解析到的UTC時間整秒加一即為當前時間UTC；根據當前時刻的UTC，對RTC的時間進行校準；

通過上述時鐘同步，激光雷達每一幀點云可輸出與FPGA同步過的時間標簽。

7.根據權利要求1所述的激光雷達與相機數據的時空同步系統，其特征在于，相機圖像與激光雷達數據融合時，需要保證在雷達掃描到相應區域時，觸發相機對該區域曝光成像；

在PPS脈沖觸發的時刻，機械旋轉式激光雷達旋轉到預設的角度發射激光；

FPGA的觸發相機端口的脈沖，與PPS同步，為PPS信號的倍頻；利用脈沖對相機進行曝光觸發，實現在激光雷達旋轉到相應的相位角度時觸發相機曝光。