[發(fā)明專利]一種高速公路隧道內(nèi)停車檢測(cè)的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011572493.8
• 申請(qǐng)日: 2020-12-25
• 公開（公告）號(hào): CN112738470B
• 公開（公告）日: 2022-10-21
• 發(fā)明（設(shè)計(jì)）人: 丁潔;范緒閣;楊祖莨
• 申請(qǐng)（專利權(quán)）人: 太原理工大學(xué)
• 主分類號(hào): H04N7/18
• 分類號(hào): H04N7/18;G08G1/01;G06V20/52;G06V10/762;G06V10/80;G06V10/82;G06N3/04;G06T7/277;G06T7/73
• 代理公司: 太原市科瑞達(dá)專利代理有限公司 14101
• 代理人: 李富元

1.一種高速公路隧道內(nèi)停車檢測(cè)的方法，對(duì)高速公路隧道內(nèi)進(jìn)行實(shí)時(shí)拍照獲得監(jiān)控視頻，建立車輛檢測(cè)模型，制作數(shù)據(jù)集，將監(jiān)控視頻輸入車輛檢測(cè)模型，利用停車檢測(cè)算法實(shí)現(xiàn)隧道內(nèi)車輛停車的檢測(cè)，其特征在于：車輛檢測(cè)模型采用YOLOv3-TunnelVehicle網(wǎng)絡(luò)結(jié)構(gòu)，YOLOv3-TunnelVehicle網(wǎng)絡(luò)結(jié)構(gòu)為在YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)上的改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，YOLOv3-TunnelVehicle網(wǎng)絡(luò)結(jié)構(gòu)采用YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)深度殘差網(wǎng)絡(luò)提取車輛特征，將YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)深度殘差網(wǎng)絡(luò)結(jié)構(gòu)的第11層、第36層、第61層和第79層分別修改為獲得128*128*128、64*64*256、32*32*512和16*16*512的特征圖尺寸，在YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)殘差網(wǎng)絡(luò)之后添加多個(gè)卷積層，并將其分成4個(gè)分支，形成多尺度預(yù)測(cè)網(wǎng)絡(luò)，預(yù)測(cè)網(wǎng)絡(luò)中的特征圖通過上采樣的方式提高特征圖的尺寸，與深度殘差網(wǎng)絡(luò)中相對(duì)應(yīng)的特征圖進(jìn)行融合，即第85層32*32*256與第61層32*32*512融合獲得32*32*768的特征圖，第97層64*64*128與第36層64*64*256融合獲得64*64*384的特征圖，第109層128*128*128與第11層128*128*128融合獲得128*128*256的特征圖；對(duì)YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)的先驗(yàn)框采用K-means算法聚類得到適合高速公路隧道車輛邊界框尺寸的先驗(yàn)框，具體步驟如下

(1)用于聚類的原始數(shù)據(jù)是擁有標(biāo)注框的目標(biāo)檢測(cè)數(shù)據(jù)集，每張圖對(duì)應(yīng)的TXT標(biāo)注文件中包含標(biāo)注框的位置和類別，其中每一行是真實(shí)框相對(duì)于原圖的坐標(biāo)(x_j,y_j,w_j,h_j),j∈{1,2,...,N}，(x_j,y_j)是邊界框的中心點(diǎn)，(w_j,h_j)是邊界框的寬和高，N是這張圖上標(biāo)注框的數(shù)量；

(2)設(shè)定k個(gè)聚類中心(W_i,H_i),i∈{1,2,...,k}，其中W_i，H_i是先驗(yàn)框的寬和高，因?yàn)橄闰?yàn)框位置不是固定的，所以沒有框的中心坐標(biāo)，只有寬和高；

(3)計(jì)算每個(gè)標(biāo)注框和每個(gè)聚類中心的距離度量(1-IOU)，計(jì)算時(shí)每個(gè)標(biāo)注框的中心都與聚類中心重合，即每個(gè)標(biāo)注框和每個(gè)聚類中心的距離d＝1-IOU[(x_j,y_j,w_j,h_j),(x_j,y_j,W_i,H_i)]，其中j∈{1,2,...,N}和i∈{1,2,...,k}，將標(biāo)注框分配給距離度量最小的聚類中心；

(4)所有標(biāo)注框分配完畢后，對(duì)每個(gè)聚類簇重新計(jì)算其聚類中心的坐標(biāo)，即W_i'＝(1/n_i)∑w_i,H′_i＝(1/n_i)∑h_i，n_i為第i聚類簇的標(biāo)注框數(shù)量，這個(gè)步驟也就是求各個(gè)聚類簇中所有標(biāo)注框?qū)捄透叩木担?/p>

(5)重復(fù)第(3)、(4)步，直到聚類中心改變量為0，也就是聚類中心不變了；利用停車檢測(cè)算法實(shí)現(xiàn)隧道內(nèi)車輛停車的檢測(cè)具體步驟如下

步驟一、采用YOLOv3-TunnelVehicle網(wǎng)絡(luò)結(jié)構(gòu)作為車輛檢測(cè)模型檢測(cè)出車輛的位置；

步驟二、在獲得車輛的具體位置后，將其輸入給Deep SORT多目標(biāo)跟蹤算法來跟蹤車輛，進(jìn)而計(jì)算被跟蹤車輛的速度判斷是否停車。

2.根據(jù)權(quán)利要求1所述的一種高速公路隧道內(nèi)停車檢測(cè)的方法，其特征在于：制作數(shù)據(jù)集時(shí)，對(duì)公開數(shù)據(jù)集PascalVOC進(jìn)行修整，篩選出與高速公路隧道內(nèi)車輛高度相似的數(shù)據(jù)；根據(jù)篩選出與高速公路隧道內(nèi)車輛高度相似的數(shù)據(jù)制作高速公路隧道車輛數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1所述的一種高速公路隧道內(nèi)停車檢測(cè)的方法，其特征在于：DeepSORT多目標(biāo)跟蹤算法是基于SORT算法的改進(jìn)，利用運(yùn)動(dòng)信息和外觀信息進(jìn)行數(shù)據(jù)關(guān)聯(lián)，在Deep SORT算法中，卡爾曼濾波器用于估計(jì)當(dāng)前視頻幀中車輛跟蹤目標(biāo)的位置和形狀，將預(yù)測(cè)結(jié)果與當(dāng)前視頻幀中車輛檢測(cè)結(jié)果進(jìn)行匹配，最后根據(jù)匹配結(jié)果將車輛檢測(cè)邊界框分配給車輛跟蹤目標(biāo)，將當(dāng)前幀中檢測(cè)到的車輛邊界框與上一幀的車輛跟蹤目標(biāo)進(jìn)行匹配，在匹配過程中，采用卡爾曼濾波估計(jì)車輛跟蹤目標(biāo)的狀態(tài)再完成匹配，車輛檢測(cè)目標(biāo)的跟蹤分配包括運(yùn)動(dòng)匹配、外觀匹配和級(jí)聯(lián)匹配，其中，運(yùn)動(dòng)匹配是通過平方馬氏距離來測(cè)量歷史幀中跟蹤目標(biāo)的卡爾曼狀態(tài)與當(dāng)前幀中車輛檢測(cè)邊界框之間的運(yùn)動(dòng)匹配程度，在外觀匹配中，采用余弦深度特征表示車輛檢測(cè)目標(biāo)和跟蹤目標(biāo)的外觀，在獲得外觀特征后，使用余弦深度特征之間的余弦距離測(cè)量兩者的外觀相似度，從而進(jìn)行外觀匹配，級(jí)聯(lián)匹配將運(yùn)動(dòng)匹配和外觀匹配結(jié)合在一起，實(shí)現(xiàn)車輛檢測(cè)邊界框與最近出現(xiàn)的跟蹤目標(biāo)相匹配；

在車輛目標(biāo)的卡爾曼濾波中，車輛邊界框的狀態(tài)用8維狀態(tài)空間來描述：

X＝[x,y,γ,h,x',y',γ',h']

其中(x,y)、γ、h分別為車輛邊界框的中心點(diǎn)坐標(biāo)、寬高比、高；x',y',γ',h'為各自變量的變化速度，每個(gè)速度值都初始化為0，設(shè)系統(tǒng)的觀測(cè)變量為x,y,γ,h，即Z＝[x,y,γ,h]，在卡爾曼濾波器中，首先對(duì)狀態(tài)進(jìn)行預(yù)測(cè)，即根據(jù)時(shí)間k-1的系統(tǒng)狀態(tài)對(duì)時(shí)間k的系統(tǒng)狀態(tài)進(jìn)行預(yù)測(cè)，并計(jì)算觀測(cè)前誤差的協(xié)方差矩陣，然后進(jìn)行系統(tǒng)的估計(jì)更新，將時(shí)間k的預(yù)測(cè)值和時(shí)間k的觀測(cè)值相結(jié)合，計(jì)算卡爾曼增益矩陣，最后估計(jì)系統(tǒng)狀態(tài)，并更新誤差協(xié)方差；具體的卡爾曼濾波公式為：

其中表示基于k-1時(shí)間的系統(tǒng)狀態(tài)對(duì)k時(shí)間系統(tǒng)狀態(tài)的預(yù)測(cè)值，A為狀態(tài)轉(zhuǎn)移矩陣；是基于k-1時(shí)間的協(xié)方差計(jì)算k時(shí)間協(xié)方差的預(yù)測(cè)值，Q為系統(tǒng)噪聲的協(xié)方差矩陣，代表整個(gè)系統(tǒng)的可靠程度；K_k表示k時(shí)間的卡爾曼增益矩陣，卡爾曼增益用于估計(jì)誤差的重要程度，H是系統(tǒng)測(cè)量矩陣，R是測(cè)量噪聲的協(xié)方差矩陣，它是一個(gè)4x4對(duì)角矩陣，對(duì)角線上的值是中心點(diǎn)的兩個(gè)坐標(biāo)以及寬高的噪聲；是k時(shí)間系統(tǒng)狀態(tài)的最優(yōu)結(jié)果，Z_k是k時(shí)間的系統(tǒng)測(cè)量值；是k時(shí)間系統(tǒng)最優(yōu)結(jié)果對(duì)應(yīng)的協(xié)方差，協(xié)方差表示目標(biāo)邊界框信息的不確定性，矩陣中的數(shù)字越大，不確定性越大；根據(jù)X和Z的形式得出狀態(tài)轉(zhuǎn)移矩陣與狀態(tài)觀測(cè)矩陣：

通過卡爾曼濾波公式即可對(duì)車輛跟蹤過程中每輛車的狀態(tài)進(jìn)行估計(jì)，在卡爾曼濾波后進(jìn)行跟蹤指派，跟蹤指派中的運(yùn)動(dòng)匹配是通過馬氏距離來測(cè)量卡爾曼濾波器預(yù)測(cè)的車輛跟蹤目標(biāo)狀態(tài)與車輛檢測(cè)模型獲得的車輛檢測(cè)邊界框之間的運(yùn)動(dòng)匹配度，馬氏距離由P.C.Mahalanobis提出，它代表數(shù)據(jù)的協(xié)方差距離，是一種計(jì)算兩個(gè)未知樣本集相似度的有效度量準(zhǔn)則，假設(shè)存在兩個(gè)特征向量X和Y，則兩個(gè)向量之間的馬氏距離D(X,Y)為：

其中S為待測(cè)量的向量之間的協(xié)方差矩陣；

Deep SORT中跟蹤指派的運(yùn)動(dòng)匹配度是：

其中d_j為當(dāng)前幀檢測(cè)模型檢測(cè)到的第j個(gè)車輛邊界框的狀態(tài)向量；y_i為第i個(gè)跟蹤目標(biāo)在當(dāng)前幀中的預(yù)測(cè)的卡爾曼狀態(tài)；S_i為卡爾曼濾波器預(yù)測(cè)的第i個(gè)跟蹤目標(biāo)在當(dāng)前幀中的協(xié)方差矩陣；d⁽¹⁾(i,j)則為第j個(gè)車輛邊界框與第i個(gè)跟蹤目標(biāo)之間的運(yùn)動(dòng)匹配度，對(duì)于是否匹配的判斷準(zhǔn)則通過閾值的形式來完成：

其中t⁽¹⁾即為運(yùn)動(dòng)匹配度的閾值，其值為t⁽¹⁾＝9.4877，這一數(shù)值是對(duì)四維變量空間(x,y,γ,h)在逆卡方分布上要求能達(dá)到95％以上的置信度計(jì)算出的結(jié)果；

運(yùn)動(dòng)匹配適用于運(yùn)動(dòng)不確定性較低的情況，使用卡爾曼濾波器估計(jì)圖像空間中的運(yùn)動(dòng)狀態(tài)是一種粗略的預(yù)測(cè)，當(dāng)相機(jī)抖動(dòng)和目標(biāo)被遮擋時(shí)，很容易出現(xiàn)ID切換現(xiàn)象，在跟蹤多個(gè)目標(biāo)時(shí)，將為每個(gè)跟蹤的目標(biāo)分配一個(gè)編號(hào)，而ID切換指的是圖像序列中目標(biāo)編號(hào)變化的次數(shù)，使用車輛的外觀信息來匹配目標(biāo)的方法，也就是Deep SORT中跟蹤指派的外觀匹配，通過Cosine深度特征來測(cè)量第j個(gè)車輛檢測(cè)目標(biāo)與第i個(gè)跟蹤目標(biāo)之間的外觀相似性；

通過Cosine深度特征提取網(wǎng)絡(luò)對(duì)每個(gè)檢測(cè)目標(biāo)d_j都計(jì)算一個(gè)外觀描述符r_j，對(duì)每個(gè)跟蹤目標(biāo)來說，保存它最新的100個(gè)成功關(guān)聯(lián)的特征集，記作然后，第i個(gè)跟蹤目標(biāo)和第j個(gè)檢測(cè)目標(biāo)在外觀空間中的距離測(cè)量是它們各自的外觀描述符的最小余弦距離：

同樣引入閾值以排除在外觀匹配度量中相距太遠(yuǎn)的匹配組合：

通過以上運(yùn)動(dòng)匹配和外觀匹配的分析，可以知道運(yùn)動(dòng)匹配更加適合短期預(yù)測(cè)且區(qū)分度更差，而外觀匹配更擅長長期預(yù)測(cè)，適用于目標(biāo)在長時(shí)間遮擋后恢復(fù)匹配，用加權(quán)的方式對(duì)這兩種度量方法進(jìn)行組合：

通過以上運(yùn)動(dòng)匹配和外觀匹配的分析，可以知道運(yùn)動(dòng)匹配更加適合短期預(yù)測(cè)且區(qū)分度更差，而外觀匹配更擅長長期預(yù)測(cè)，適用于目標(biāo)在長時(shí)間遮擋后恢復(fù)匹配，用加權(quán)的方式對(duì)這兩種度量方法進(jìn)行組合：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

如果既滿足運(yùn)動(dòng)匹配又滿足外觀匹配，則表示匹配成功，因此該組合度量方法的閾值為：

除了運(yùn)動(dòng)匹配和外觀匹配外，通過級(jí)聯(lián)匹配來優(yōu)先將車輛檢測(cè)邊框指派給被遮擋時(shí)間較短的車輛跟蹤目標(biāo)，卡爾曼濾波器用于預(yù)測(cè)多車輛目標(biāo)跟蹤的車輛邊界框，使用級(jí)聯(lián)匹配算法來匹配具有不同遮擋持續(xù)時(shí)間的目標(biāo)，級(jí)聯(lián)匹配算法為：

(1)輸入：跟蹤目標(biāo)T＝{1,2,...,N}；車輛檢測(cè)得到的車輛邊界框D＝{1,2,...,M}；連續(xù)被遮擋的最大幀數(shù)A_max，

(2)計(jì)算車輛跟蹤目標(biāo)與車輛檢測(cè)目標(biāo)的運(yùn)動(dòng)和外觀組合匹配度C＝[c_i,j]；

(3)計(jì)算車輛跟蹤目標(biāo)與車輛檢測(cè)目標(biāo)的閾值矩陣B＝[b_i,j]，

(4)初始化匹配集合

(5)初始化未匹配的車輛檢測(cè)目標(biāo)集合U←D，

(6)按照車輛跟蹤目標(biāo)被遮擋的幀數(shù)T_n←{i∈T|a_i＝n}從小到大與車輛檢測(cè)目標(biāo)進(jìn)行匹配，公式表示為[x_i,j]←min_cost_matching(C,T_n,U)；將匹配結(jié)果應(yīng)用于M和U的更新，更新公式為M←M∪{(i,j)|b_i,j·x_i,j＞0}和U←U\{j|∑_ib_i,j·x_i,j＞0}，

(7)輸出：匹配集合M和未匹配集合U；

計(jì)算被跟蹤車輛的質(zhì)心移動(dòng)距離，如果該距離小于5像素則判定該車輛區(qū)域?yàn)橐伤仆＼嚨膮^(qū)域；之后對(duì)于被判定為疑似停車的車輛進(jìn)行“更嚴(yán)格”地判斷，即當(dāng)車輛的質(zhì)心移動(dòng)距離小于2像素時(shí)，判定該車輛區(qū)域?yàn)榇_認(rèn)停車的區(qū)域。