[發明專利]一種基于視覺和激光雷達的目標檢測和運動狀態估計方法

有效

• 申請號: 202010845378.7
• 申請日: 2020-08-20
• 公開（公告）號: CN111951305B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 高小倩;馮明馳;馮輝宗;岑明;王字朋;卜川夏
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/277
• 分類號: G06T7/277;G06T7/292;G06T7/33;G06T7/80;G06T5/00;G06N3/08;G06V10/762;G01S17/931;G06V10/25
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 陳棟梁

1.一種基于視覺和激光雷達的目標檢測和運動狀態估計方法，其特征在于，包括以下步驟：

步驟1、安裝相機與激光雷達，并進行兩兩雙目相機之間的標定，以及車前左相機與激光雷達之間的聯合標定，并將立體視覺系統與激光雷達各自生成的稀疏點云進行融合和補充，構成全局的三維點云圖；

步驟2、用深度學習的方法對二維圖像以及三維點云進行檢測，并通過立體視覺生成的圖像目標三維運動狀態和激光雷達三維點云目標融合，獲取綜合的目標三維特征點；

步驟3、根據目標三維特征點，利用卡爾曼濾波對目標進行跟蹤，分析其運動狀態；

所述步驟1具體包括以下步驟：

步驟2-1.采用相同的速率和統一坐標系的方法，實現相機與激光雷達這兩種傳感器時間與空間的信息同步；

步驟2-2.根據傳感器的安裝位置，實現雙目之間的標定以及相機與激光雷達之間的聯合標定，并獲取內參f_u、f_v、u_o、v_o以及外參R、T，其中f_u、f_v分別表示相機橫、縱焦距，u_o、v_o表示光學中心，由標定得到；

步驟2-3.根據雙目標定獲得的內參f_u、f_v、u_o、v_o以及外參R、T，對獲取的圖像進行畸變矯正；

步驟2-4.用特征點提取算法分別對雙目相機拍攝的t時刻、t-1時刻左右圖像進行特征點提取；

步驟2-5.利用漢明距離原理對圖像特征點進行匹配，完成在t時刻左圖像與右圖像特征點匹配，右圖像在t時刻和t-1時刻匹配，t-1時刻右圖像與左圖像特征點匹配，左圖像在t-1時刻和t時刻匹配，構成環形匹配；

步驟2-6.根據步驟2-5中匹配好的特征點以及根據立體視覺測距原理算出其三維坐標，根據左相機與激光雷達的外參系數，以及雙目相機之間的外參系數，將雙目相機生成的稀疏點云和激光雷達生成的稀疏點云融合在一起，對激光雷達無法生成近處點云和雙目相機無法對遠處場景生成點云進行了相互補充，從而構成全局的三維點云；

步驟2-7.利用光束法平差方法對融合后的每一個三維點云進行優化，消除噪聲；

步驟2-8.重復上述步驟2-2至步驟2-7，完成車左、車右、車后的點云融合，即可以表示為：

其中，表示激光雷達獲取的點云三維坐標，表示通過立體視覺系統獲取的點云三維坐標，(x_t,y_t,z_t)將兩融合后得到最終的點云三維坐標。

2.根據權利要求1所述的一種基于視覺和激光雷達的目標檢測和運動狀態估計方法，其特征在于，所述步驟2-1實現相機與激光雷達這兩種傳感器的信息同步，具體包括：在時間上，激光雷達與相機設置相同的采集速率；在空間上，相機和激光雷達都安裝在車頂，激光雷達位于中間，相機分別位于車前、車左、車右、車后，其中車前2個攝像頭、車左2個攝像頭、車后2個攝像頭、車右2個攝像頭，對于車前方2個攝像頭與激光雷達的位置關系，左右攝像頭的相機坐標系分別表示為O_L-X_LY_LZ_L，O_R-X_RY_RZ_R，空間中的點在兩個攝像頭圖像平面上的像素坐標表示為P_L(u_l,v_l)，P_R(u_r,v_r)激光雷達坐標系為O_VLP-X_VLPY_VLPZ_VLP，空間中任意點在激光坐標系下表示為(x_vlp,y_vlp,z_vlp)。