[發明專利]激光雷達圖像與攝像機圖像的匹配方法及系統

在審

• 申請號: 201810801137.5
• 申請日: 2018-07-20
• 公開（公告）號: CN108875844A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 馮梓航;孫輝;周坤;張偉
• 申請（專利權）人: 清華大學蘇州汽車研究院（吳江）
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/80;G06T11/60;H04N5/232;G06N3/04
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴;丁浩秋

本發明公開了一種激光雷達圖像與攝像機圖像的匹配方法，包括：利用卷積神經網絡對激光雷達圖像和攝像機圖像學習特征描述子；比較通過卷積神經網絡提取的特征描述子之間的距離，確認目標的分類和位姿；通過卷積神經網絡提取的位姿參數將激光雷達圖像投影到攝像機圖像上，得到激光雷達圖像和攝像機圖像的融合圖。可以解決對目標表面的紋理的依賴性，減少環境的影響，提高激光雷達和攝像機的圖像匹配的精度。

技術領域

本發明涉及激光雷達和攝像機的圖像匹配技術領域，具體地涉及一種激光雷達圖像與攝像機圖像的匹配方法及系統。

背景技術

近年來，由于計算機技術等的快速發展，人工智能是一個很熱的話題，而計算機視覺恰是人工智能的主陣地。在計算機視覺領域中，單一的傳感器應用已經滿足不了我們的需求，多傳感器融合是必要的，激光雷達和攝像頭的融合就是典型的代表。激光雷達是距離傳感器，通過計算發射和接收信號的時間或者相位差，得到目標和傳感器之間的距離信息，但得不到目標的色彩信息，而攝像機恰好相反。激光雷達和攝像頭的融合應用十分廣泛，比如智能汽車的誕生、智能機器人的誕生等等。

激光雷達和攝像頭的融合應用越來越多，激光雷達和攝像機的圖像匹配就顯得十分重要了。激光雷達和攝像機的圖像傳統的匹配算法主要有稀疏特征的方法、稠密圖像快的方法以及模板匹配的方法，首先，傳統的位姿測量方法大多是基于幾何特征的方法，而基本的幾何方法對于目標表面的紋理具有一定的依賴性；其次，在真實環境中，由于受到光照等因素影響，相機成像質量會發生退化，基于幾何特征的方法容易受到極大影響；最后，發生局部遮擋等情況下，物體發生了形變，基于幾何特征的方法不一定能勝任位姿測量等任務，本發明因此而來。

發明內容

為了解決上述存在的技術問題，本發明提供了一種激光雷達圖像與攝像機圖像的匹配方法及系統，利用卷積神經網絡算法對激光光雷達圖像和攝像機圖像學習特征描述子，比較描述子間的距離，實現目標識別和位姿測量，得到目標的位姿的參數后進行圖像匹配，可以解決對目標表面的紋理的依賴性，減少環境的影響，提高激光雷達和攝像機的圖像匹配的精度。

本發明的技術方案是：

一種激光雷達圖像與攝像機圖像的匹配方法，包括以下步驟：

S01：利用卷積神經網絡對激光雷達圖像和攝像機圖像學習特征描述子；

S02：比較通過卷積神經網絡提取的特征描述子之間的距離，確認目標的分類和位姿；

S03：通過卷積神經網絡提取的位姿參數將激光雷達圖像投影到攝像機圖像上，得到激光雷達圖像和攝像機圖像的融合圖。

優選的技術方案中，所述步驟S01之前還包括：

對攝像機圖像進行標定和校正；對激光雷達每個線束進行校正和激光雷達圖像補全操作，使得每個線束的反射值分布相同。

優選的技術方案中，所述卷積神經網絡的第一層和第二層為卷積層，第三層、第四層和第五層為全連接層，還連接ReLU層、Pooling層以及Dropout層；第一層卷積核大小為11*5*3，共64個，第二層卷積核大小為5*3*64，共200個；隱含的全連接層是1024、2048個神經元。

本發明還公開了一種激光雷達圖像與攝像機圖像的匹配系統，包括：

信息采集模塊：利用攝像頭和激光雷達進行圖像采集，包括激光雷達圖像和攝像機圖像；

圖像處理模塊，利用卷積神經網絡對激光雷達圖像和攝像機圖像學習特征描述子；比較通過卷積神經網絡提取的特征描述子之間的距離，確認目標的分類和位姿；通過卷積神經網絡提取的位姿參數將激光雷達圖像投影到攝像機圖像上，得到激光雷達圖像和攝像機圖像的融合圖。

優選的技術方案中，還包括：