[發明專利]一種基于激光雷達與單目相機的障礙物檢測與測量方法

有效

• 申請號: 202110291251.X
• 申請日: 2021-03-18
• 公開（公告）號: CN113096183B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 蔣林;馬先重;聶文康;趙慧;雷斌
• 申請（專利權）人: 武漢科技大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T7/12;G06T7/13;G06T7/194
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 胡琦旖

1.一種基于激光雷達與單目相機的障礙物檢測與測量方法，其特征在于，包括以下步驟：

步驟1、對激光雷達與單目相機進行聯合標定，得到標定信息；所述激光雷達為二維激光雷達；

步驟2、通過所述單目相機獲取障礙物對應的第一圖像信息，利用訓練好的深度學習網絡模型對所述第一圖像信息進行目標檢測，得到障礙物位置信息；

步驟3、利用圖像分割算法對所述障礙物位置信息中的環境背景干擾信息進行去除，得到障礙物目標區域信息；

步驟4、利用邊緣檢測算法對所述障礙物目標區域信息進行輪廓提取，得到輪廓信息；對所述障礙物目標區域信息中的激光雷達點進行曲率計算，得到曲率信息；根據所述輪廓信息和所述曲率信息得到障礙物的測量面；

其中，所述步驟4包括以下子步驟：

步驟4.1、基于所述障礙物目標區域信息，利用Canny邊緣檢測算法獲得障礙物中存在的所有線段，儲存其中所有的豎向線段，將小于第一角度的橫向線段作為選出的橫向線段，儲存所述選出的橫向線段；

步驟4.2、對位于障礙物上的激光雷達點進行曲率計算；

步驟4.3、選出所有的豎向線段中的最左豎向線段與最右豎向線段；

所述激光雷達與所述單目相機安裝在機器人上；如果存在某一激光雷達點的曲率大于第一閾值，則認為障礙物側面面對所述機器人，則在所有的豎向線段中尋找離該激光雷達點最近的豎向線段，記為第一豎向線段；計算所述第一豎向線段分別與最左豎向線段、最右豎向線段之間的距離，并以所述第一豎向線段替換最小距離對應的豎向線段，實現最左豎向線段或最右豎向線段的更新；如果所有激光雷達點的曲率均小于等于所述第一閾值，則認為障礙物正面面對所述機器人，不對最左豎向線段和最右豎向線段進行更新；

步驟4.4、將位于最左豎向線段和最右豎向線段之間的所述選出的橫向線段進行位置排序，得到最上橫向線段和最下橫向線段；將最左豎向線段、最右豎向線段、最上橫向線段和最下橫向線段所組成的矩形作為所述障礙物的測量面；

步驟5、基于所述標定信息和所述障礙物的測量面上的激光雷達數據，得到障礙物的尺寸信息。

2.根據權利要求1所述的基于激光雷達與單目相機的障礙物檢測與測量方法，其特征在于，所述標定信息包括所述單目相機的內參，以及所述激光雷達相對于所述單目相機的旋轉矩陣和位移矩陣；

所述步驟1包括以下子步驟：

步驟1.1、制作聯合標定板，所述聯合標定板包括黑白棋盤格；

步驟1.2、將所述聯合標定板置于所述單目相機與所述激光雷達的正前方，使所述單目相機能夠獲得所述黑白棋盤格的全貌，同時確保能有大于第一數量的激光雷達點擊中所述聯合標定板，并獲得擊中所述聯合標定板的激光雷達點的坐標信息；

步驟1.3、利用張正友標定法對所述單目相機進行標定，獲得所述單目相機的內參和聯合標定板的空間平面方程；

步驟1.4、根據所述聯合標定板的空間平面方程和所述擊中聯合標定板的激光雷達點的坐標信息，得到所述激光雷達相對于所述單目相機的旋轉矩陣和位移矩陣。