[發(fā)明專利]一種面向自動駕駛的車路協(xié)同行人重識別方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010133125.7
• 申請日: 2020-03-01
• 公開（公告）號: CN111460891B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計）人: 汪洋;丁麗琴;曾奕欣;孫晨陽
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)（深圳）（哈爾濱工業(yè)大學(xué)深圳科技創(chuàng)新研究院）
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/40;G06V10/77;G06V10/75;G06V10/94;G06N3/0464;G06N3/08
• 代理公司: 深圳鼎合誠知識產(chǎn)權(quán)代理有限公司 44281
• 代理人: 郭燕;彭家恩

1.一種面向自動駕駛的車路協(xié)同行人重識別方法,其特征在于，包括：

分別獲取車輛側(cè)圖像和路側(cè)圖像，并對所述車輛側(cè)圖像和路側(cè)圖像進行特征提取，得到車輛側(cè)圖像的高維深度特征和路側(cè)圖像的高維深度特征；

分別對所述車輛側(cè)圖像的高維深度特征和路側(cè)圖像的高維深度特征進行降維處理，得到車輛側(cè)圖像的低維深度特征和路側(cè)圖像的低維深度特征；

分別計算所述車輛側(cè)圖像的低維深度特征和所有路側(cè)圖像的低維深度特征之間的特征距離，將距離最小的兩個圖像相匹配，并將與車輛側(cè)圖像距離最小的路側(cè)圖像作為目標圖像；

分別對所述車輛側(cè)圖像的高維深度特征和路側(cè)圖像的高維深度特征進行降維處理，得到車輛側(cè)圖像的低維深度特征和路側(cè)圖像的低維深度特征包括：

采用局部敏感哈希算法分別對所述車輛側(cè)圖像的高維深度特征和路側(cè)圖像的高維深度特征進行降維處理，得到車輛側(cè)圖像的低維深度特征和路側(cè)圖像的低維深度特征；

分別計算所述車輛側(cè)圖像的低維深度特征和所有路側(cè)圖像的低維深度特征之間的特征距離，將距離最小的兩個圖像相匹配包括：

計算所述車輛側(cè)圖像的低維深度特征和所有路側(cè)圖像的低維深度特征之間的漢明距離，將漢明距離最小的兩個圖像相匹配；

計算所述車輛側(cè)圖像的低維深度特征和路側(cè)圖像的低維深度特征之間的漢明距離之前還包括：

檢測所述車輛側(cè)圖像的低維深度特征和路側(cè)圖像的低維深度特征傳輸時的信道狀態(tài)是否滿足預(yù)設(shè)的穩(wěn)定狀態(tài)，若不滿足預(yù)設(shè)的穩(wěn)定狀態(tài)則在下一次進行降維處理時進一步降低所述車輛側(cè)圖像的高維深度特征和路側(cè)圖像的高維深度特征。

2.一種面向自動駕駛的車路協(xié)同行人重識別系統(tǒng)，其特征在于，包括第一圖像獲取裝置和第二圖像獲取裝置；

所述第一圖像獲取裝置用于設(shè)置在車輛上以獲取車輛側(cè)圖像以及其特征信息，其包括：

第一視覺傳感器，用于設(shè)置在車輛上以獲取車輛側(cè)圖像；

第一特征提取模塊，用于對所述車輛側(cè)圖像進行特征提取獲取所述車輛側(cè)圖像的高維深度特征；

第一降維模塊，用于對所述車輛側(cè)圖像的高維深度特征進行降維處理，得到車輛側(cè)圖像的低維深度特征；

所述第二圖像獲取裝置用于設(shè)置在路側(cè)以獲取路側(cè)圖像以及其特征信息，其包括：

第二視覺傳感器，用于設(shè)置在路側(cè)上以獲取路側(cè)圖像；

第二特征提取模塊，用于對所述路側(cè)圖像進行特征提取獲取所述路側(cè)圖像的高維深度特征；

第二降維模塊，用于對所述路側(cè)圖像的高維深度特征進行降維處理，得到車輛側(cè)圖像的低維深度特征；

特征匹配模塊，用于計算所述車輛側(cè)圖像的低維深度特征和路側(cè)圖像的低維深度特征之間的特征距離，將距離最小的路側(cè)圖像作為目標圖像并將其與所述車輛側(cè)圖像進行匹配；

輸出模塊，用于輸出所述目標圖像及圖像的相關(guān)信息，所述圖像的相關(guān)信息至少包括獲取圖像的時間和地點；

所述計算所述車輛側(cè)圖像的低維深度特征和路側(cè)圖像的低維深度特征之間的特征距離，將距離最小的路側(cè)圖像作為目標圖像并將其與所述車輛側(cè)圖像進行匹配包括：計算所述車輛側(cè)圖像的低維深度特征和路側(cè)圖像的低維深度特征之間的漢明距離，將漢明距離最小的路側(cè)圖像作為目標圖像并將其與所述車輛側(cè)圖像進行匹配；

所述第一圖像獲取裝置還包括第一通信模塊，所述第二圖像獲取裝置還包括第二通信模塊，所述第一通信模塊用于和所述第二通信模塊進行無線通信，以將所述車輛側(cè)圖像低維深度特征發(fā)送給所述特征匹配模塊；

所述第二圖像獲取裝置還包括信道感知模塊和降維控制模塊；

所述信道感知模塊用于實時感知所述第一通信模塊和第二通信模塊之間的信道狀態(tài)，所述降維控制模塊用于根據(jù)所述信道狀態(tài)確定降維策略并生成對應(yīng)的降維控制信號，以修改所述第一降維模塊和第二降維模塊輸出的圖像的低維深度特征的維度；

所述第二通信模塊還用于將所述降維控制信號通過第一通信模塊發(fā)送給所述第一降維模塊；

所述降維策略包括：增加輸出圖像的特征維度、減少輸出圖像的特征維度以及保持輸出圖像的特征維度不變；

所述信道感知模塊用于感知所述第一通信模塊和第二通信模塊之間的信道狀態(tài)，并判斷所述信道狀態(tài)是否滿足預(yù)設(shè)的穩(wěn)定狀態(tài)；

所述降維控制模塊用于在所述第一通信模塊和第二通信模塊之間的信道狀態(tài)不滿足預(yù)設(shè)的穩(wěn)定狀態(tài)時發(fā)出降維控制信號，以控制所述第一降維模塊和第二降維模塊進一步降低所述車輛側(cè)圖像的高維深度特征和路側(cè)圖像的高維深度特征的維度；

對所述車輛側(cè)圖像的高維深度特征進行降維處理以及對所述路側(cè)圖像的高維深度特征進行降維處理，包括：

采用局部敏感哈希算法分別對所述車輛側(cè)圖像的高維深度特征和路側(cè)圖像的高維深度特征進行降維處理；

所述對所述車輛側(cè)圖像進行特征提取獲取所述車輛側(cè)圖像的高維深度特征包括：采用卷積神經(jīng)網(wǎng)絡(luò)對所述車輛側(cè)圖像進行特征提取得到車輛側(cè)圖像的高維深度特征；

所述對所述路側(cè)圖像進行特征提取獲取所述路側(cè)圖像的高維深度特征包括：采用卷積神經(jīng)網(wǎng)絡(luò)對路側(cè)圖像進行特征提取獲取所述路側(cè)圖像的高維深度特征；

所述信道感知模塊用于感知所述第一通信模塊和第二通信模塊之間的信道狀態(tài)，并判斷所述信道狀態(tài)是否滿足預(yù)設(shè)的穩(wěn)定狀態(tài)包括：所述信道感知模塊用于檢測所述第二通信模塊通信時的時延和/或丟包率，并判斷所述時延是否大于預(yù)設(shè)時間，和/或判斷所述丟包率是否大于預(yù)設(shè)丟包率，若是則確定所述信道狀態(tài)不穩(wěn)定；

所述降維控制模塊用于在所述第一通信模塊和第二通信模塊之間的信道狀態(tài)不滿足預(yù)設(shè)的穩(wěn)定狀態(tài)時發(fā)出降維控制信號，以控制所述第一降維模塊和第二降維模塊進一步降低所述車輛側(cè)圖像的高維深度特征和路側(cè)圖像的高維深度特征的維度包括：

所述降維控制模塊用于在所述第一通信模塊和第二通信模塊之間的信道狀態(tài)不滿足預(yù)設(shè)的穩(wěn)定狀態(tài)時發(fā)出降維控制信號，以控制所述第一降維模塊和第二降維模塊將所述車輛側(cè)圖像的高維深度特征和路側(cè)圖像的高維深度特征降維成比上一時刻輸出的圖像的維度更低的低維深度特征；

所述降維控制模塊還用于判斷降維后的車輛側(cè)圖像的低維深度特征和路側(cè)圖像的低維深度特征的維度是否小于預(yù)設(shè)值，若是，則控制系統(tǒng)停止工作。