[發明專利]一種基于車載視頻的前方車輛位置預測方法和預測系統

有效

• 申請號: 202110051940.3
• 申請日: 2021-01-15
• 公開（公告）號: CN112800879B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 宋建新;蘇萬亮
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06K9/62;G06N3/04;G06N3/08;G06V10/84;G06V10/80;G06V10/774
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 常虹

1.一種基于車載視頻的前方車輛位置預測方法，包括訓練階段和預測階段，其特征在于，所述訓練階段包括：

S1、構建基于編解碼框架的車輛位置預測模型，所述車輛位置預測模型用于根據當前時刻t之前的t-0,t-1,…,t-(T-1)時刻前方車輛包圍框、所述包圍框內的光流、本車在當前時刻t之后的t+1,t+2,…,t+△時刻的運動信息，預測前方車輛在當前時刻t之后的t+1,t+2,…,t+△時刻的包圍框；

所述車輛位置預測模型的輸入包括：當前時刻t前的T個時刻的視頻幀中，前方車輛的包圍框序列B、前方車輛包圍框內的光流序列F，以及當前時刻t后的△個時刻的視頻幀中，本車的運動預測序列M；

所述車輛位置預測模型的輸出為當前時刻t后的△個時刻的視頻幀圖像中前方車輛的預測包圍框序列Y；

所述車輛位置預測模型包括：前方車輛包圍框編碼器、前方車輛光流編碼器、特征融合單元、前方車輛位置預測解碼器；

所述前方車輛包圍框編碼器用于對前方車輛的包圍框序列B編碼，得到前方車輛的時序特征矢量

所述前方車輛光流編碼器用于對前方車輛包圍框內的光流序列F編碼，得到前方車輛的運動特征矢量

所述特征融合單元將前方車輛的時序特征矢量和運動特征矢量連接為前車的融合特征矢量

所述前方車輛位置預測解碼器根據本車的運動預測序列M對特征矢量解碼，得到當前時刻t后的△個時刻的視頻幀中前方車輛的預測包圍框；

S2、構建樣本集并對車輛位置預測模型進行訓練，包括：

S2-1、采集能夠拍攝到前車的多個時長為s的車載視頻片段，對每個視頻片段中的視頻幀進行采樣，并確定采樣后的視頻幀中前方車輛的包圍框序列B_tr、包圍框內的光流序列F_tr和視頻幀對應時刻本車的運動預測序列M_tr，構成樣本集；

S2-2、將樣本集劃分為訓練集和驗證集；設置學習率σ，批處理數量N；

S2-3、訓練過程采用Adam優化器，根據訓練集樣本數和N確定訓練批次N′；將訓練樣本中的視頻片段前s′時長的視頻幀對應的B_tr、F_tr，后s″時長的視頻幀對應的M_tr作為車輛位置預測模型的輸入，后s″時長的視頻幀對應的B_tr作為輸出，對所述模型進行訓練，保存模型參數，并用驗證集驗證模型的預測準確度；s′+s″＝s；

S2-4、選擇N′批訓練中預測準確度最高的模型參數作為車輛位置預測模型的參數；

所述預測階段包括：

車輛上設置可以拍攝前方車輛的攝像頭，獲取所述攝像頭在車輛行駛中采集的視頻數據；

對視頻中每一幀圖像進行車輛檢測與跟蹤，得到每一輛前車的包圍框序列，并存入B_test(i)中，i為前車編號；同時計算包圍框內的光流，存入F_test(i)；獲取本車在未來幀中的運動信息，存入序列M_test；

在序列B_test(i)和F_test(i)中采用長度為T的第一滑動窗，在序列M_test中采用長度為△的第二滑動窗，分別截取當前時刻t前的T個視頻幀中車輛i的包圍框、所述包圍框內的光流，以及當前時刻t后的△個視頻幀中本車的運動信息預測值，輸入訓練好的車輛位置預測模型中，得到前方車輛i在當前時刻t后的△個視頻幀中的包圍框序列Y′(i)＝[Y′_t+1(i),Y′_t+2(i),…,Y′_t+δ(i),…,Y′_t+△(i)]，計算前方車輛i的包圍框在當前時刻視頻幀中的相對位置：其中B_test,t+0(i)為前方車輛i在當前時刻t的包圍框；1≤δ≤△；

根據Y′(i)中包圍框的中心得到前方車輛i的預測軌跡；根據Y′(i)中包圍框的寬高得到前方車輛i尺度。

2.根據權利要求1所述的前方車輛位置預測方法，其特征在于，所述前方車輛的包圍框序列采用如下步驟計算：

A.1、對連續T個時刻的視頻幀圖像進行車輛檢測，得到每幀圖像中所有車輛的包圍框；

A.2、采用多目標跟蹤算法跟蹤步驟A.1得到的車輛包圍框，對不同幀中同一車輛給出相同編號，按時間順序構成T個時刻前方車輛包圍框序列B。