[發(fā)明專利]一種動(dòng)態(tài)視覺(jué)傳感器與激光雷達(dá)數(shù)據(jù)融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011025103.5
• 申請(qǐng)日: 2020-09-25
• 公開(kāi)（公告）號(hào): CN112346073B
• 公開(kāi)（公告）日: 2023-07-11
• 發(fā)明（設(shè)計(jì)）人: 黃凱;朱裕章;李博洋;孟浩;宋日輝
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G01S17/86
• 分類號(hào): G01S17/86;G01S17/894;G01C11/04;G06F18/213
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 陳偉斌

1.一種動(dòng)態(tài)視覺(jué)傳感器與激光雷達(dá)數(shù)據(jù)融合方法，其特征在于，包括以下步驟：

S1：通過(guò)動(dòng)態(tài)視覺(jué)傳感器和激光雷達(dá)分別獲取事件幀數(shù)據(jù)和點(diǎn)云幀；

S2：對(duì)得到的數(shù)據(jù)和點(diǎn)云幀進(jìn)行預(yù)處理得到預(yù)處理數(shù)據(jù)；

S3：對(duì)預(yù)處理數(shù)據(jù)進(jìn)行區(qū)域劃分，構(gòu)建鄰域得到鄰域點(diǎn)集合；

S4：對(duì)動(dòng)態(tài)視覺(jué)傳感器的像素點(diǎn)進(jìn)行深度估計(jì)得到深度值；

S5：融合像素點(diǎn)和點(diǎn)云幀中的激光點(diǎn)得到深度圖，根據(jù)深度圖得到每個(gè)像素點(diǎn)的三維坐標(biāo)，并填補(bǔ)到點(diǎn)云幀中完成融合得到稠密三維點(diǎn)云數(shù)據(jù)；

所述步驟S1具體包括以下步驟：

S11：激光雷達(dá)進(jìn)行掃描得到三維點(diǎn)云數(shù)據(jù)，動(dòng)態(tài)視覺(jué)傳感器工作得到事件流，激光雷達(dá)進(jìn)入和離開(kāi)動(dòng)態(tài)視覺(jué)傳感器視野范圍的時(shí)間分別存儲(chǔ)為t_b、t_e；

S12：通過(guò)方位角判斷并提取在動(dòng)態(tài)視覺(jué)傳感器的視野范圍的三維點(diǎn)云數(shù)據(jù)并拼接形成點(diǎn)云幀；

S13：截取事件流中?t?=??時(shí)間內(nèi)的事件點(diǎn)，得到事件點(diǎn)的集合，基底為事件幀；

所述步驟S4具體包括以下步驟：

S41：以根點(diǎn)的深度為基準(zhǔn)，在像素點(diǎn)鄰域內(nèi)的其他激光點(diǎn)中過(guò)濾掉深度與根點(diǎn)區(qū)別超過(guò)設(shè)定值的點(diǎn)；

S42：判斷根點(diǎn)與像素點(diǎn)形成的目標(biāo)向量方向上的空間曲面為變化平滑的平面或變化尖銳的非平面；

S43：若為變化平滑的平面，則選中包圍目標(biāo)向量的兩個(gè)方向向量作為向量基，將目標(biāo)向量用向量基表示，并求出權(quán)重值，利用權(quán)重值得到像素點(diǎn)的深度值，具體公式如下：

，

其中，A為激光點(diǎn)；a為像素點(diǎn)；為像素點(diǎn)a的深度值；與分別為方向向量；與為權(quán)重；為激光點(diǎn)A的深度值；為向量末點(diǎn)深度值與起始點(diǎn)深度值之差；為向量末點(diǎn)深度值與起始點(diǎn)深度值之差；

若為變化尖銳的非平面，則找到與目標(biāo)向量在方向上最接近的方向向量，然后將目標(biāo)向量投影到該向量之上，利用投影點(diǎn)與目標(biāo)向量?jī)蓚€(gè)端點(diǎn)的距離作為權(quán)重進(jìn)行加權(quán)深度估算，具體公式為：

其中，A和B為激光點(diǎn)；a為像素點(diǎn)；為像素點(diǎn)a的深度值；b為Aa在AB上的投影點(diǎn)；和分別表示投影點(diǎn)b距離A與B的距離；與為權(quán)重；是離最近的方向向量。

2.根據(jù)權(quán)利要求1所述的一種動(dòng)態(tài)視覺(jué)傳感器與激光雷達(dá)數(shù)據(jù)融合方法，其特征在于，所述步驟S2具體包括以下步驟：

S21：定義三維點(diǎn)云數(shù)據(jù)為；

其中，n為點(diǎn)云幀中激光點(diǎn)的數(shù)目；

S22：使用深度閾值對(duì)進(jìn)行過(guò)濾得到；

S23：將投影到二維平面得到二維點(diǎn)云數(shù)據(jù)，其公式為：

，

，

；

其中，n為點(diǎn)云幀中激光點(diǎn)的數(shù)目；矩陣C是動(dòng)態(tài)視覺(jué)傳感器的內(nèi)參矩陣；矩陣P為外參矩陣；R為3*3的矩陣；T為1*3的矩陣；為相機(jī)的焦距；為主點(diǎn)在相機(jī)投影面上橫向和縱向的偏移量；

S24：將平面上的動(dòng)態(tài)視覺(jué)傳感器輸出的事件進(jìn)行基于密度的聚類，獲得聚類簇，并構(gòu)建矩形。

3.根據(jù)權(quán)利要求2所述的一種動(dòng)態(tài)視覺(jué)傳感器與激光雷達(dá)數(shù)據(jù)融合方法，其特征在于，所述步驟S23投影具體過(guò)程為：

S231：將通過(guò)外參矩陣P的變換將三維點(diǎn)云平移旋轉(zhuǎn)到動(dòng)態(tài)視覺(jué)傳感器對(duì)應(yīng)的位置；

S232：通過(guò)內(nèi)參矩陣C、利用小孔成像模型將三維點(diǎn)云投影到二維平面。

4.根據(jù)權(quán)利要求2所述的一種動(dòng)態(tài)視覺(jué)傳感器與激光雷達(dá)數(shù)據(jù)融合方法，其特征在于，所述步驟S24中針對(duì)每一個(gè)聚類簇，找到其最上、最下、最左、最右點(diǎn)，并構(gòu)建一個(gè)包含聚類簇的矩形，定義矩形內(nèi)的激光點(diǎn)的集合為：其中，M為矩形內(nèi)激光點(diǎn)的數(shù)目；定義矩形內(nèi)的時(shí)間為：，其中，N為矩形內(nèi)有效像素的數(shù)量。

5.根據(jù)權(quán)利要求4所述的一種動(dòng)態(tài)視覺(jué)傳感器與激光雷達(dá)數(shù)據(jù)融合方法，其特征在于，所述步驟S3中將矩形邊界作為區(qū)域劃分的約束條件，在矩形內(nèi)部基于激光點(diǎn)構(gòu)建泰森多邊形，對(duì)矩形進(jìn)行劃分，定義劃分的多邊形區(qū)域?yàn)椋渲蠵為矩形內(nèi)任意一點(diǎn)。