[發(fā)明專利]一種基于C-V2X、雷達(dá)與視覺的智能路側(cè)感知系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011607167.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112767475B
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 蔣建春;賈敬森;曾素華;奚川龍;岑明;林家瑞;胡浪
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06V10/80;G01S13/72;G08G1/01
• 代理公司: 重慶市恒信知識產(chǎn)權(quán)代理有限公司 50102
• 代理人: 陳棟梁

1.一種基于C-V2X、雷達(dá)與視覺的智能路側(cè)感知系統(tǒng)，包括智能路側(cè)感知模塊、C-V2X路側(cè)單元，智能路側(cè)感知模塊用于采集道路上的交通對象信息，C-V2X路側(cè)單元用于進(jìn)行車路協(xié)同通信和輔助高精度定位，其特征在于，還包括：邊緣計(jì)算服務(wù)器，所述邊緣計(jì)算服務(wù)器包括視覺目標(biāo)檢測模塊、雷達(dá)多目標(biāo)跟蹤模塊、多源信息融合模塊、目標(biāo)定位模塊及RSU消息轉(zhuǎn)發(fā)模塊，其中視覺目標(biāo)檢測模塊設(shè)計(jì)了一種基于MobileNet V2和YOLOv3的輕量級目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)模型，用于平衡目標(biāo)檢測速度和小目標(biāo)檢測精度；雷達(dá)多目標(biāo)跟蹤模塊設(shè)計(jì)了一種基于無跡卡爾曼濾波的加權(quán)鄰域數(shù)據(jù)關(guān)聯(lián)多目標(biāo)跟蹤算法，用于對非有效目標(biāo)進(jìn)行濾除，降低雷達(dá)的虛警率；多源信息融合模塊設(shè)計(jì)了一種基于信息熵增益的多源信息融合權(quán)重分配方法；針對不同傳感器的采集數(shù)據(jù)不同步問題，設(shè)計(jì)了一種基于內(nèi)插外推法的多傳感器融合時(shí)間同步方法，然后結(jié)合C-V2X通信，通過車路協(xié)同數(shù)據(jù)對融合結(jié)果進(jìn)行修正補(bǔ)償，設(shè)計(jì)了一種基于C-V2X車路協(xié)同數(shù)據(jù)的雷達(dá)與攝像頭信息融合修正方法；目標(biāo)定位模塊設(shè)計(jì)了一種基于高精度定位的目標(biāo)空間轉(zhuǎn)換方法；RSU消息轉(zhuǎn)發(fā)模塊設(shè)計(jì)了一種面向通信效率的路側(cè)V2X消息分發(fā)方法，最大化效率的分發(fā)目標(biāo)信息；

所述視覺目標(biāo)檢測模塊中，改進(jìn)設(shè)計(jì)了一種輕量級目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)模型，以MobileNet V2網(wǎng)絡(luò)和YOLOv3為基礎(chǔ)，引入深度可分離卷積和具有線性瓶頸的倒殘差模塊構(gòu)建主干特征提取網(wǎng)絡(luò)，對得到的特征圖進(jìn)行空間金字塔池化增大高層特征感受野，然后結(jié)合FPN特征金字塔網(wǎng)絡(luò)+PAN金字塔注意力網(wǎng)絡(luò)結(jié)構(gòu)，增加一個(gè)自底向上的特征金字塔網(wǎng)絡(luò)，從不同的主干層對不同的檢測層進(jìn)行參數(shù)聚合，融合多尺度特征；

所述多源信息融合模塊設(shè)計(jì)了一種基于C-V2X車路協(xié)同數(shù)據(jù)的雷達(dá)與攝像頭信息融合修正方法，利用車路協(xié)同數(shù)據(jù)對雷達(dá)攝像頭融合結(jié)果進(jìn)行補(bǔ)償，首先根據(jù)攝像頭和毫米波雷達(dá)的融合輸出序列提取出感興趣的目標(biāo)集合，然后根據(jù)C-V2X通信接收到的協(xié)同目標(biāo)車輛的數(shù)量和位置信息，計(jì)算兩個(gè)識別周期內(nèi)的有效量測之間的距離，根據(jù)量測是否互聯(lián)對下一采樣時(shí)刻進(jìn)行外推形成確認(rèn)區(qū)域并再次判斷，此過程迭代至第四個(gè)掃描周期，如果有三次以上能滿足量測互聯(lián)，就認(rèn)為目標(biāo)是匹配的；

所述基于信息熵增益的多源信息融合權(quán)重分配方法具體為：

對于n個(gè)傳感器的屬性變量x₁,x₁,…,x_n和最終的融合決策變量D，首先求出融合決策變量的原始信息熵H(D)：

e_D、_SS(D)分別為決策變量D的狀態(tài)和其狀態(tài)空間(State Space)，P表示概率；

然后計(jì)算融合決策變量相對于各屬性變量的條件信息熵H(D|x_i)：

SS(x_i)分別表示各屬性變量的狀態(tài)及其對應(yīng)的狀態(tài)空間；

再計(jì)算融合決策變量相對于各屬性變量的信息增益Gain(D,x_i)：

Gain(D,x_i)＝H(D)-H(D|x_i)

最后利用信息增益計(jì)算權(quán)重向量β＝[β₁,β₂,…,β_n]：

從而為不同的傳感器在融合過程中確定不同的權(quán)重配比。

2.根據(jù)權(quán)利要求1所述的一種基于C-V2X、雷達(dá)與視覺的智能路側(cè)感知系統(tǒng)，其特征在于，所述雷達(dá)多目標(biāo)跟蹤模塊中，設(shè)計(jì)了一種基于無跡卡爾曼濾波的加權(quán)鄰域數(shù)據(jù)關(guān)聯(lián)多目標(biāo)跟蹤算法，具體包括：首先對T時(shí)刻的雷達(dá)觀測數(shù)據(jù)Y_i(t)和T-1時(shí)刻的目標(biāo)航跡T_k(t-1)的預(yù)測值T_k(t|t-1)進(jìn)行加權(quán)鄰域數(shù)據(jù)關(guān)聯(lián)，如果Y_i(t)和T_k(t|t-1)關(guān)聯(lián)成功，則Y_i(t)為現(xiàn)有目標(biāo)，T_k(t|t-1)進(jìn)行狀態(tài)更新并維持航跡，否則，Y_i(t)為新目標(biāo)，對Y_i(t)進(jìn)行新建航跡并初始化卡爾曼濾波器；然后查找四個(gè)歷史周期的航跡中是否存在T_k(t-1)，如果存在，則保留航跡并進(jìn)行卡爾曼濾波跟蹤，否則，刪除航跡。

3.根據(jù)權(quán)利要求1所述的一種基于C-V2X、雷達(dá)與視覺的智能路側(cè)感知系統(tǒng)，其特征在于，所述時(shí)間同步方法的具體步驟如下：利用V2X和雷達(dá)適配攝像頭的方法，當(dāng)收取到一幀圖像時(shí)，記錄下當(dāng)前各個(gè)目標(biāo)的時(shí)間標(biāo)簽，當(dāng)下一幀圖像到來時(shí)，計(jì)算他們的時(shí)間差，然后利用雷達(dá)數(shù)據(jù)和V2X數(shù)據(jù)分別計(jì)算雷達(dá)目標(biāo)和V2X目標(biāo)分別在圖像上的位置，分別對每一個(gè)目標(biāo)的位置進(jìn)行推算，得出新的幀時(shí)各個(gè)目標(biāo)的位置，從而完成對新的V2X數(shù)據(jù)幀、雷達(dá)數(shù)據(jù)幀和相機(jī)數(shù)據(jù)幀的時(shí)間同步。