[發(fā)明專利]一種基于時空信息輔助的無人機(jī)視頻車輛跟蹤方法

有效

• 申請?zhí)枺?/td>: 202111533174.0
• 申請日: 2021-12-15
• 公開（公告）號: CN114219836B
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計）人: 呂京國;白穎奇;曹逸飛;王琛;賀柳良
• 申請（專利權(quán)）人: 北京建筑大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/70;G06K9/62;G06F17/15;G06V10/46;G06V10/80
• 代理公司: 北京市盛峰律師事務(wù)所 11337
• 代理人: 席小東

1.一種基于時空信息輔助的無人機(jī)視頻車輛跟蹤方法，其特征在于，包括以下步驟：

步驟1，確定需要跟蹤的目標(biāo)車輛S；

步驟2，無人機(jī)對地面進(jìn)行拍攝，獲得無人機(jī)視頻數(shù)據(jù)；將無人機(jī)視頻數(shù)據(jù)的每一視頻幀作為圖像幀；

步驟3，按圖像幀生成順序，依次對各個圖像幀進(jìn)行車輛特征識別，判斷每個圖像幀是否包含目標(biāo)車輛S，如果不包含，則繼續(xù)對下一圖像幀進(jìn)行車輛特征識別，直到定位到包含目標(biāo)車輛S的圖像幀，然后執(zhí)行步驟4；如果包含，則表明成功搜索到目標(biāo)車輛S，執(zhí)行步驟4；

將首次識別到包含目標(biāo)車輛S的圖像幀設(shè)為第0圖像幀F(xiàn)rm(0)，在第0圖像幀F(xiàn)rm(0)中確定包含目標(biāo)車輛S的車輛結(jié)果框Box(0)，再一步確定車輛結(jié)果框Box(0)的位置信息，包括：車輛結(jié)果框Box(0)的寬w₀,高h(yuǎn)₀以及中心點坐標(biāo)P₀(x₀,y₀)；

步驟4，從第0圖像幀F(xiàn)rm(0)搜索到目標(biāo)車輛S開始，采用時空信息輔助的無人機(jī)視頻車輛跟蹤方法，對后續(xù)的圖像幀F(xiàn)rm(t)中的目標(biāo)車輛S進(jìn)行跟蹤；其中，t＝2,…,End表示當(dāng)前圖像幀距離第0圖像幀F(xiàn)rm(0)的幀數(shù)，End表示跟蹤結(jié)束時圖像幀的幀數(shù)；

對于圖像幀F(xiàn)rm(t)，采用以下方法，追蹤到目標(biāo)車輛S在圖像幀F(xiàn)rm(t)的位置：

步驟4.1，在圖像幀F(xiàn)rm(t)中，確定車輛疑似位置區(qū)域，從而得到車輛疑似位置圖Z(t)；

具體的，以當(dāng)前圖像幀F(xiàn)rm(t)為參考，則圖像幀F(xiàn)rm(t-1)表示為當(dāng)前圖像幀F(xiàn)rm(t)的前一圖像幀，圖像幀F(xiàn)rm(t-2)表示為圖像幀F(xiàn)rm(t-1)的前一圖像幀；

提取圖像幀F(xiàn)rm(t-1)的車輛結(jié)果框Box(t-1)和圖像幀F(xiàn)rm(t-2)的車輛結(jié)果框Box(t-2)的位置信息，根據(jù)車輛結(jié)果框Box(t-2)向車輛結(jié)果框Box(t-1)方向的變化趨勢，在圖像幀F(xiàn)rm(t)中，確定車輛疑似位置區(qū)域，從而得到車輛疑似位置圖Z(t)；

步驟4.2，確定淺層類內(nèi)特征圖F_ShallowMap(TB)和深層類間特征圖F_DeepMap(TB)：

將步驟3中通過車輛特征識別確定的車輛結(jié)果框Box(0)作為目標(biāo)車輛的車輛模板框TB，依次經(jīng)過conv1、conv2、conv3卷積層，得到淺層類內(nèi)特征圖F_ShallowMap(TB)；將淺層類內(nèi)特征圖F_ShallowMap(TB)繼續(xù)輸入到conv4、conv5卷積層，得到深層類間特征圖F_DeepMap(TB)；

步驟4.3，對車輛疑似位置圖Z(t)進(jìn)行特征提取，得到深層車輛疑似特征圖F_DeepMap(Z)：

將步驟4.1得到的車輛疑似位置圖Z(t)經(jīng)過conv1、conv2卷積層提取特征，得到初始車輛疑似特征圖F_initMap(Z)；然后，以淺層類內(nèi)特征圖F_ShallowMap(TB)作為卷積核，對初始車輛疑似特征圖F_initMap(Z)進(jìn)行卷積，得到淺層車輛疑似特征圖F_ShallowMap(Z)，進(jìn)而加強(qiáng)初始車輛疑似特征圖F_initMap(Z)中目標(biāo)車輛的響應(yīng)程度；最后，將淺層車輛疑似特征圖F_ShallowMap(Z)經(jīng)過conv4卷積核進(jìn)行特征提取，得到深層車輛疑似特征圖F_DeepMap(Z)；

步驟4.4，獲取目標(biāo)車輛得分圖ScoreMap：

步驟4.4.1，判斷當(dāng)前幀數(shù)t是否大于歷史車輛跟蹤結(jié)果信息輔助幀數(shù)K，若t≤K，則執(zhí)行步驟4.4.2；若tK，則執(zhí)行步驟4.4.3；

步驟4.4.2，t≤K時，目標(biāo)車輛得分圖ScoreMap的獲取方法：

當(dāng)t≤K時，以深層類間特征圖F_DeepMap(TB)作為卷積核，對深層車輛疑似特征圖F_DeepMap(Z)進(jìn)行卷積，輸出目標(biāo)車輛得分圖ScoreMap，進(jìn)而抑制深層車輛疑似特征圖F_DeepMap(Z)中非車輛類別物體的響應(yīng)程度；然后執(zhí)行步驟4.5；

步驟4.4.3：tK時，目標(biāo)車輛得分圖ScoreMap的獲取方法：

步驟4.4.3.1，當(dāng)tK時，提取歷史最接近K個車輛結(jié)果框，分別為：圖像幀F(xiàn)rm(t-1)的車輛結(jié)果框Box(t-1),圖像幀F(xiàn)rm(t-2)的車輛結(jié)果框Box(t-2)...,圖像幀F(xiàn)rm(t-K)的車輛結(jié)果框Box(t-K)；

其中，圖像幀F(xiàn)rm(t-1)表示當(dāng)前圖像幀F(xiàn)rm(t)的前一幀，…，圖像幀F(xiàn)rm(t-K)表示當(dāng)前圖像幀F(xiàn)rm(t)的前第K幀；

上述K個車輛結(jié)果框中不僅包含目標(biāo)車輛的特征信息，還包含目標(biāo)車輛在時間序列中的變化信息；

步驟4.4.3.2，將車輛結(jié)果框Box(t-1),車輛結(jié)果框Box(t-2),...,車輛結(jié)果框Box(t-K)依次輸入conv1至conv5卷積層中，分別得到對應(yīng)歷史幀的深層類間特征圖F_DeepMap(B_t-1),F_DeepMap(B_t-2)，…,F_DeepMap(B_t-K)；

步驟4.4.3.3，將歷史幀的深層類間特征圖F_DeepMap(B_t-1),F_DeepMap(B_t-2)，…,F_DeepMap(B_t-K)分別與步驟4.2得到的深層類間特征圖F_DeepMap(TB)相減，得到K個深層區(qū)別特征圖；

將K個深層區(qū)別特征圖通過concat串聯(lián)，得到歷史變化特征圖F_ChangeMap(B)；將歷史變化特征圖F_ChangeMap(B)通過1*1*n的卷積核進(jìn)行特征融合，輸出包含n個通道的歷史變化特征融合圖F_mergeMap(B)；

步驟4.4.3.4，將歷史變化特征融合圖F_mergeMap(B)輸入到n分類的全連接網(wǎng)絡(luò)FC_n中，得到1*1*n的權(quán)重向量W；

將權(quán)重向量W與歷史變化特征融合圖F_mergeMap(B)互卷積，得到加權(quán)后歷史變化特征融合圖F_mergeMap(B)′；

步驟4.4.3.5，將加權(quán)后歷史變化特征融合圖F_mergeMap(B)′與深層類間特征圖F_DeepMap(TB)采用串聯(lián)concat()方式融合后，輸入到卷積層conv_1*1，得到增強(qiáng)歷史信息特征圖F_EhcMap(TB)；

表達(dá)式為：

其中：為加權(quán)后歷史變化特征融合圖F_mergeMap(B)′的系數(shù)；

以增強(qiáng)歷史信息特征圖F_EhcMap(TB)作為卷積核，對深層車輛疑似特征圖F_DeepMap(Z)進(jìn)行卷積，輸出目標(biāo)車輛得分圖ScoreMap；然后執(zhí)行步驟4.5；

步驟4.5，根據(jù)目標(biāo)車輛得分圖ScoreMap，在圖像幀F(xiàn)rm(t)中確定車輛結(jié)果框Box(t)，即為在圖像幀F(xiàn)rm(t)中追蹤到的目標(biāo)車輛S所在位置：

步驟4.5.1，目標(biāo)車輛得分圖ScoreMap中的每個像素點均具有特征值，將特征值最高的點坐標(biāo)，映射到圖像幀F(xiàn)rm(t)中，其在圖像幀F(xiàn)rm(t)的坐標(biāo)即為圖像幀F(xiàn)rm(t)的待檢測的車輛結(jié)果框Box(t)的中心點坐標(biāo)，表示為：P_t(x_t,y_t)；

步驟4.5.2，將目標(biāo)車輛得分圖ScoreMap輸入到包含兩個3*3卷積核的卷積層Conv6，得到偏移量特征圖，此時偏移量特征圖包含兩個圖層，分別用于預(yù)測車輛結(jié)果框?qū)挾绕屏亢蛙囕v結(jié)果框高度偏移量；

將偏移量特征圖進(jìn)行全局最大值池化，得到當(dāng)前圖像幀F(xiàn)rm(t)車輛結(jié)果框Box(t)與上一圖像幀F(xiàn)rm(t-1)車輛結(jié)果框Box(t-1)的寬偏移量w′_t和高偏移量h′_t；

步驟4.5.3，將上一圖像幀F(xiàn)rm(t-1)的車輛結(jié)果框Box(t-1)寬w_t-1與寬偏移量w′_t相加，得到當(dāng)前圖像幀F(xiàn)rm(t)的車輛結(jié)果框Box(t)的寬w_t，將上一圖像幀F(xiàn)rm(t-1)的車輛結(jié)果框Box(t-1)高h(yuǎn)_t-1與高偏移量h′_t相加，得到當(dāng)前圖像幀F(xiàn)rm(t)的車輛結(jié)果框Box(t)的高h(yuǎn)_t，因此，在圖像幀F(xiàn)rm(t)中，以P_t(x_t,y_t)作為中心點，寬為w_t,高為h_t，從而在圖像幀F(xiàn)rm(t)中確定車輛結(jié)果框Box(t)，即為在圖像幀F(xiàn)rm(t)中追蹤到的目標(biāo)車輛S所在位置；

步驟5，將圖像幀F(xiàn)rm(t)作為圖像幀F(xiàn)rm(t-1)，返回步驟4，對下一圖像幀進(jìn)行目標(biāo)車輛S跟蹤；

其中，步驟4.1具體方法為：

步驟4.1.1，獲取車輛結(jié)果框Box(t-1)的中心點坐標(biāo)P_t-1(x_t-1,y_t-1)，寬為w_t-1，高為h_t-1；

獲取車輛結(jié)果框Box(t-2)的中心點坐標(biāo)P_t-2(x_t-2,y_t-2)、寬為w_t-2，高為h_t-2；

步驟4.1.2，根據(jù)車輛結(jié)果框Box(t-1)的中心點坐標(biāo)和車輛結(jié)果框Box(t-2)的中心點坐標(biāo)，采用下式，計算車輛結(jié)果框Box(t-1)和車輛結(jié)果框Box(t-2)之間的坐標(biāo)方位角α：

其中：

若y_t-1-y_t-2＝0Vt＝1，則α＝90°；

步驟4.1.3，采用下式，根據(jù)坐標(biāo)方位角α確定車輛疑似區(qū)域的寬w_Z和高h(yuǎn)_Z，增加目標(biāo)運動方向的空間信息：

其中：

四個方向north、south、east、west根據(jù)目標(biāo)車輛的運動方向設(shè)置；

北方向north＝{(0,40)∪(320,360)}

南方向south＝{140°,220°}

東方向east＝{50,130}

西方向west＝{230,310}

β₁和β₂分別為寬放大系數(shù)和高放大系數(shù)；

步驟4.1.4，根據(jù)(x_t-1,y_t-1,w_Z,h_Z)在圖像幀F(xiàn)rm(t)截取車輛疑似區(qū)域，得到車輛疑似位置圖Z(t)。