[發(fā)明專利]一種激光雷達與雙目相機數(shù)據(jù)融合檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010161186.4
• 申請日: 2020-03-10
• 公開（公告）號: CN111340797B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設計）人: 王新立;何萱;宋銳;江連杰;王偉;李貽斌
• 申請（專利權）人: 山東大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/50;G06T7/10;G06T7/33;G06T7/80
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

本公開提供了一種激光雷達與雙目相機數(shù)據(jù)融合檢測方法及系統(tǒng)，獲取激光雷達采集的檢測區(qū)域的點云數(shù)據(jù)；獲取雙目相機采集的待檢測物體的圖像數(shù)據(jù)；對圖像數(shù)據(jù)進行處理，分割待檢測物體，得到待檢測物體點云以及三維坐標、姿態(tài)和類別；對直接獲取的點云數(shù)據(jù)進行分割，得到目標點云和其三維坐標；對兩個點云數(shù)據(jù)進行配準以及重疊率的計算，若重疊率大于設定值，則輸出目標點云以三維坐標結果，否則重新進行檢測區(qū)域的點云和圖像檢測。有效的提高了目標物體位測量精度。

技術領域

本公開屬于檢測數(shù)據(jù)處理技術領域，涉及一種激光雷達與雙目相機數(shù)據(jù)融合檢測方法及系統(tǒng)。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

隨著現(xiàn)代科學技術的不斷發(fā)展，新型儀器不斷涌現(xiàn)出來，工業(yè)領域對于高精尖儀器的使用也逐漸平鋪開來，然而由于工業(yè)的場景的復雜性，僅依靠自然光相機難以在惡劣條件下保證測量的精準性；在結構化場景中，激光雷達能探測到的特征不足，視覺紋理的缺失會導致里程計的漂移；單一的激光雷達無法獲取環(huán)境的地圖信息。

發(fā)明內容

本公開為了解決上述問題，提出了一種激光雷達與雙目相機數(shù)據(jù)融合檢測方法及系統(tǒng)，本公開針對工業(yè)檢測領域，作業(yè)條件惡劣，僅依靠雙目相機的情況下難以實現(xiàn)目標物的檢測的準確性，加入激光雷達，激光雷達可以精準的測量待測物體的位置信息，檢測精準度高，且可以進行低光照強度下的目標物體檢測，為進一步提高目標的檢測精度，還加入基于深度學習的點云信息提取，提高了從點云信息中提取目標物的速度與準確率，大大提高了提取目標物體的精度，從而準確得出物體三維位置與姿態(tài)信息。

根據(jù)一些實施例，本公開采用如下技術方案：

一種激光雷達與雙目相機數(shù)據(jù)融合檢測系統(tǒng)，包括運動機構，所述運動機構上設置有雙目相機和激光雷達，還設置有融合模塊；

所述激光雷達用于獲取檢測區(qū)域的點云數(shù)據(jù)；

所述雙目相機用于獲取待檢測物體的圖像數(shù)據(jù)；

所述融合模塊，被配置為對圖像數(shù)據(jù)進行處理，分割待檢測物體，得到待檢測物體點云以及三維坐標、姿態(tài)和類別；對激光雷達獲取的點云數(shù)據(jù)進行分割，得到目標點云和其三維坐標；對兩個點云數(shù)據(jù)進行配準以及重疊率的計算，若重疊率大于設定值，則輸出激光雷達處理后的目標點云以三維坐標結果，否則重新進行檢測區(qū)域的檢測。

作為可選擇的實施方式，所述雙目相機和激光雷達均具有標定模塊，用于在獲取數(shù)據(jù)前，所述雙目相機和激光雷達進行各自標定和聯(lián)合標定。

一種激光雷達與雙目相機數(shù)據(jù)融合檢測方法，包括以下步驟：

獲取激光雷達采集的檢測區(qū)域的點云數(shù)據(jù)；

獲取雙目相機采集的待檢測物體的圖像數(shù)據(jù)；

對圖像數(shù)據(jù)進行處理，分割待檢測物體，得到待檢測物體點云以及三維坐標、姿態(tài)和類別；對直接獲取的點云數(shù)據(jù)進行分割，得到目標點云和其三維坐標；

對兩個點云數(shù)據(jù)進行配準以及重疊率的計算，若重疊率大于設定值，則輸出目標點云以三維坐標結果，否則重新進行檢測區(qū)域的點云和圖像檢測。

作為可選擇的實施方式，在獲取采集的數(shù)據(jù)前，對激光雷達進行內參標定，對雙目相機通過張氏標定法求解相機的內參標定；

進行兩者的聯(lián)合標定，將激光雷達坐標系映射到雙目相機的坐標系下。

作為可選擇的實施方式，采用基于深度學習的方法對于激光雷達點云數(shù)據(jù)進行分割提取，進行目標物體檢測前，利用激光雷達在檢測區(qū)域進行點云數(shù)據(jù)收集，對于收集到的點云數(shù)據(jù)進行標注、分類，將點集輸入網(wǎng)絡之中，網(wǎng)絡中采用T-Net網(wǎng)絡模型來訓練出特征變換矩陣，使經(jīng)過各種變換后的點云對齊到同一個空間下，并提取點云特征。