[發明專利]激光雷達圖像與攝像機圖像的匹配方法及系統

在審

• 申請號: 201810801137.5
• 申請日: 2018-07-20
• 公開（公告）號: CN108875844A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 馮梓航;孫輝;周坤;張偉
• 申請（專利權）人: 清華大學蘇州汽車研究院（吳江）
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/80;G06T11/60;H04N5/232;G06N3/04
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴;丁浩秋

1.一種激光雷達圖像與攝像機圖像的匹配方法，其特征在于，包括以下步驟：

S01：利用卷積神經網絡對激光雷達圖像和攝像機圖像學習特征描述子；

S02：比較通過卷積神經網絡提取的特征描述子之間的距離，確認目標的分類和位姿；

S03：通過卷積神經網絡提取的位姿參數將激光雷達圖像投影到攝像機圖像上，得到激光雷達圖像和攝像機圖像的融合圖。

2.根據權利要求1所述的激光雷達圖像與攝像機圖像的匹配方法，其特征在于，所述步驟S01之前還包括：

對攝像機圖像進行標定和校正；對激光雷達每個線束進行校正和激光雷達圖像補全操作，使得每個線束的反射值分布相同。

3.根據權利要求1所述的激光雷達圖像與攝像機圖像的匹配方法，其特征在于，所述卷積神經網絡的第一層和第二層為卷積層，第三層、第四層和第五層為全連接層，還連接ReLU層、Pooling層以及Dropout層；第一層卷積核大小為11*5*3，共64個，第二層卷積核大小為5*3*64，共200個；隱含的全連接層是1024、2048個神經元。

4.一種激光雷達圖像與攝像機圖像的匹配系統，其特征在于，包括：

信息采集模塊：利用攝像頭和激光雷達進行圖像采集，包括激光雷達圖像和攝像機圖像；

圖像處理模塊，利用卷積神經網絡對激光雷達圖像和攝像機圖像學習特征描述子；比較通過卷積神經網絡提取的特征描述子之間的距離，確認目標的分類和位姿；通過卷積神經網絡提取的位姿參數將激光雷達圖像投影到攝像機圖像上，得到激光雷達圖像和攝像機圖像的融合圖。

5.根據權利要求4所述的激光雷達圖像與攝像機圖像的匹配系統，其特征在于，還包括：

圖像預處理模塊，對攝像機圖像進行標定和校正；對激光雷達每個線束進行校正和激光雷達圖像補全操作，使得每個線束的反射值分布相同。

6.根據權利要求4所述的激光雷達圖像與攝像機圖像的匹配系統，其特征在于，所述卷積神經網絡的第一層和第二層為卷積層，第三層、第四層和第五層為全連接層，還連接ReLU層、Pooling層以及Dropout層；第一層卷積核大小為11*5*3，共64個，第二層卷積核大小為5*3*64，共200個；隱含的全連接層是1024、2048個神經元。