[發(fā)明專利]一種基于橋梁監(jiān)控視頻中車輛匹配深度學(xué)習(xí)的橋梁荷載分布識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110971025.6
• 申請(qǐng)日: 2021-08-23
• 公開(kāi)（公告）號(hào): CN113837007B
• 公開(kāi)（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 李惠;黃永;謝俊鑫;陳智成;鮑躍全;蔣運(yùn)泉
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 哈爾濱市陽(yáng)光惠遠(yuǎn)知識(shí)產(chǎn)權(quán)代理有限公司 23211
• 代理人: 孫莉莉

1.一種基于橋梁監(jiān)控視頻中車輛匹配深度學(xué)習(xí)的橋梁荷載分布識(shí)別方法，其特征在于，具體包括以下步驟：

步驟一、根據(jù)車輛通過(guò)動(dòng)態(tài)稱重系統(tǒng)的時(shí)間以及其在此處監(jiān)控視頻中出現(xiàn)的時(shí)間，將車輛重量附加在對(duì)應(yīng)的車輛圖像上，同時(shí)截取通過(guò)的車輛圖像作為目標(biāo)車輛圖像；

步驟二、構(gòu)建基于HardNet描述符的圖像匹配方法以匹配識(shí)別不同監(jiān)控視頻中的目標(biāo)車輛；

步驟三、對(duì)給定時(shí)刻的所有位置監(jiān)控視頻中的車輛進(jìn)行匹配識(shí)別，建立車輛對(duì)應(yīng)關(guān)系，提取車輛位置信息，結(jié)合目標(biāo)車輛圖像附加的車輛荷載信息，實(shí)現(xiàn)橋梁上的車輛荷載識(shí)別；

所述步驟二具體為：

步驟2.1、以加速分段測(cè)試的特征提取FAST算法在構(gòu)造的圖像尺度空間金字塔中檢測(cè)車輛圖像中的點(diǎn)特征；

步驟2.2、將點(diǎn)特征及其周圍區(qū)域輸入到經(jīng)過(guò)訓(xùn)練的HardNet深度神經(jīng)網(wǎng)絡(luò)中，以獲得HardNet點(diǎn)特征描述符；

步驟2.3、利用最近鄰匹配方法和SIFT匹配條件來(lái)初步建立兩個(gè)圖像的HardNet點(diǎn)特征描述符之間的匹配關(guān)系；

步驟2.4、與目標(biāo)車輛圖像建立最多點(diǎn)特征對(duì)應(yīng)關(guān)系的待識(shí)別車輛圖像即為識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟一具體為：

步驟1.1、從動(dòng)態(tài)稱重系統(tǒng)中讀取通過(guò)的車輛的通過(guò)時(shí)間、速度和重量；

步驟1.2、利用基于YOLOV3的車輛檢測(cè)方法檢測(cè)截取視頻中通過(guò)動(dòng)態(tài)稱重系統(tǒng)區(qū)域的車輛作為目標(biāo)車輛圖像，同時(shí)記錄檢測(cè)截取時(shí)間；

步驟1.3、將從動(dòng)態(tài)稱重系統(tǒng)中提取到的車輛的速度與重量信息附加到同一時(shí)間從視頻監(jiān)控系統(tǒng)中檢測(cè)截取的目標(biāo)車輛圖像上。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟2.1具體為：

步驟2.1.1、將原始圖像不斷進(jìn)行下采樣構(gòu)建圖像尺度金字塔；

步驟2.1.2、以加速分段測(cè)試的特征提取FAST算法檢測(cè)尺度金字塔每一層的候選點(diǎn)特征；

步驟2.1.3、對(duì)所有候選點(diǎn)特征執(zhí)行非最大值抑制，保留每個(gè)區(qū)域里最穩(wěn)定的點(diǎn)特征，判斷在每個(gè)候選點(diǎn)特征附近是否存在多個(gè)點(diǎn)特征，如果存在，計(jì)算每個(gè)點(diǎn)特征的函數(shù)值V：

其中S_bright＝{x|I_x≥I_p+s}，S_dark＝{x|I_x≤I_p-s}，I_p和s是要檢測(cè)的點(diǎn)的強(qiáng)度值和選定的閾值，I_x表示以檢測(cè)的點(diǎn)為中心，半徑為3的圓周上像素的灰度值；如果該點(diǎn)特征的V值在鄰域中最大，保留該點(diǎn)特征；否則，刪除該點(diǎn)特征；如果在某點(diǎn)特征的鄰域中沒(méi)有其他點(diǎn)特征，則直接保留該點(diǎn)特征；

步驟2.1.4、對(duì)獲得的尺度空間金字塔每一層中的點(diǎn)特征位置進(jìn)行亞像素插值，獲得圖像點(diǎn)特征的精確坐標(biāo)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟2.2具體為：

步驟2.2.1、構(gòu)建HardNet深度神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入為32×32像素的圖像塊，輸出為L(zhǎng)2規(guī)范化的128維特征描述符；

步驟2.2.2、以車輛匹配圖像數(shù)據(jù)集聯(lián)合訓(xùn)練HardNet深度神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的損失函數(shù)為：

式中n為一個(gè)批次的數(shù)據(jù)量，d(a_i,p_i)為一批訓(xùn)練圖像中第i組匹配圖像塊的描述符間的歐式距離，為第i個(gè)圖像塊描述符a_i與其最接近的不匹配的圖像塊描述符間的歐式距離，為第i個(gè)圖像塊描述符p_i與其最接近的不匹配的圖像塊描述符間的歐式距離；

步驟2.2.3、將步驟2.1檢測(cè)到的點(diǎn)特征及其周圍區(qū)域輸入訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)獲得HardNet深度學(xué)習(xí)描述符。