[發(fā)明專利]一種基于深度學(xué)習(xí)和視覺定位的非接觸式鋼軌軌枕相對(duì)位移實(shí)時(shí)測量方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110226886.1
• 申請(qǐng)日: 2021-03-01
• 公開（公告）號(hào): CN112949482B
• 公開（公告）日: 2022-04-29
• 發(fā)明（設(shè)計(jì)）人: 王森榮;程嘉昊;厲小潤;季文獻(xiàn);林超;王晶;朱彬;王建軍;楊艷麗;鄢祖建
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué);中鐵第四勘察設(shè)計(jì)院集團(tuán)有限公司
• 主分類號(hào): G06V20/52
• 分類號(hào): G06V20/52;G06V10/25;G06V10/774;G06K9/62;G06F17/16;G06N20/00
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 鄭海峰

1.一種基于深度學(xué)習(xí)和視覺定位的非接觸式鋼軌軌枕相對(duì)位移實(shí)時(shí)測量方法，其特征在于，包括如下步驟：

步驟1，針對(duì)任一個(gè)檢測點(diǎn)，在需要檢測的鋼軌軌枕任一側(cè)的固定位置設(shè)置攝像頭，將攝像頭的監(jiān)控范圍對(duì)準(zhǔn)目標(biāo)檢測位置，在目標(biāo)檢測范圍的軌枕上粘貼至少包括兩個(gè)圓的標(biāo)志牌，所述標(biāo)志牌上所有圓心在同一條直線上，且圓心連線與軌枕沿軌道寬度方向的邊界線平行；

步驟2，采集目標(biāo)檢測范圍內(nèi)的不同高度、不同角度、不同環(huán)境和不同成像方式下的樣本圖像，標(biāo)記樣本圖像中的每一個(gè)標(biāo)記牌的四個(gè)角點(diǎn)的原像素坐標(biāo)，將角點(diǎn)的原像素坐標(biāo)轉(zhuǎn)換為檢測框頂點(diǎn)的原像素坐標(biāo)；利用四個(gè)角點(diǎn)的原像素坐標(biāo)和實(shí)際坐標(biāo)計(jì)算透視變換矩陣，獲得樣本圖片中圓心對(duì)應(yīng)的原像素坐標(biāo)；

將矩形檢測框的對(duì)角線上的兩個(gè)頂點(diǎn)坐標(biāo)作為標(biāo)志牌檢測標(biāo)簽，將每一個(gè)標(biāo)志牌中邊界處的兩個(gè)圓心坐標(biāo)作為圓心定位標(biāo)簽，將帶標(biāo)簽的樣本圖像作為訓(xùn)練樣本集；

步驟3，建立深度學(xué)習(xí)模型，利用步驟2得到的訓(xùn)練樣本集對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練；

步驟4，通過攝像頭實(shí)時(shí)采集每一個(gè)檢測點(diǎn)處的軌枕視頻，從對(duì)應(yīng)當(dāng)前時(shí)刻的視頻中等間隔提取m幀作為當(dāng)前時(shí)刻的待檢測圖像，利用訓(xùn)練好的深度學(xué)習(xí)模型檢測圖像中的標(biāo)志牌區(qū)域并定位圓心，根據(jù)檢測結(jié)果過濾無效幀圖像；

根據(jù)定位得到的圓心原像素坐標(biāo)確定圓心的位置關(guān)系，對(duì)兩個(gè)邊界標(biāo)志牌中的共計(jì)四個(gè)邊界處圓心的原像素坐標(biāo)進(jìn)行透視變換，使得透視變換后的四個(gè)圓心連線呈矩形；

根據(jù)透視變換后的像素坐標(biāo)和原像素坐標(biāo)，采用步驟2中的方法計(jì)算透視變換矩陣，利用透視變換矩陣對(duì)有效幀圖像進(jìn)行透視變換；

步驟5，利用訓(xùn)練好的深度學(xué)習(xí)模型檢測透視變換后的有效幀圖像中的標(biāo)志牌區(qū)域，并對(duì)透視變換后的有效幀圖像進(jìn)行二值化處理，擬合標(biāo)志牌區(qū)域內(nèi)的橢圓輪廓，得到橢圓長短軸長度、圓心坐標(biāo)和橢圓旋轉(zhuǎn)角度作為擬合結(jié)果；

步驟6，從相鄰兩個(gè)標(biāo)記牌中任選一個(gè)或多個(gè)對(duì)應(yīng)圓心的擬合結(jié)果計(jì)算相對(duì)距離，得到位移值，將每一個(gè)有效幀圖像中的相對(duì)位移值取均值作為初始檢測結(jié)果；

步驟7，對(duì)所有有效幀圖像的初始檢測結(jié)果排序和平滑濾波，將濾波后的均值作為最終結(jié)果輸出；

步驟8，重復(fù)步驟4至步驟7，執(zhí)行下一時(shí)刻的相對(duì)位移檢測，實(shí)現(xiàn)軌枕相對(duì)位移的實(shí)時(shí)測量。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和視覺定位的非接觸式鋼軌軌枕相對(duì)位移實(shí)時(shí)測量方法，其特征在于，所述的深度學(xué)習(xí)模型采用在COCO person keypoint數(shù)據(jù)集上預(yù)訓(xùn)練過的Keypoint R-CNN模型。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和視覺定位的非接觸式鋼軌軌枕相對(duì)位移實(shí)時(shí)測量方法，其特征在于，在步驟2和步驟3之間還包括將訓(xùn)練樣本集中的樣本圖像進(jìn)行數(shù)據(jù)增廣的步驟，包括隨機(jī)水平翻轉(zhuǎn)、隨機(jī)裁切、以及隨機(jī)改變色調(diào)、對(duì)比度、明度。