[發(fā)明專利]基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測方法及裝置

在審

• 申請?zhí)枺?/td>: 202210673963.2
• 申請日: 2022-06-15
• 公開（公告）號: CN115187494A
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計）人: 顧子晨;程雨;夏承亮;宋浩然;杜馨瑜;王登陽;王勝春;茍云濤;韓強(qiáng);李海浪;任盛偉;王昊;戴鵬;劉金朝
• 申請（專利權(quán)）人: 北京鐵科英邁技術(shù)有限公司;中國鐵道科學(xué)研究院集團(tuán)有限公司;中國鐵道科學(xué)研究院集團(tuán)有限公司基礎(chǔ)設(shè)施檢測研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/00;G06V10/774;G06V10/82;G06K9/00
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 谷敬麗;郝博

1.一種基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測方法，其特征在于，包括：

獲取待檢測鋼軌的鋼軌圖像和鋼軌的振動數(shù)據(jù)，其中，鋼軌的振動數(shù)據(jù)由車輪的軸箱中搭載的垂直方向的加速度傳感器獲得；

將所述振動數(shù)據(jù)生成振動波形，并將所述振動波形轉(zhuǎn)換為2D波形圖像；

將所述鋼軌圖像、所述振動波形和所述2D波形圖像融合，生成多模態(tài)鋼軌圖像；

將所述多模態(tài)鋼軌圖像輸入到軌頭踏面?zhèn)麚p識別模型中，獲得軌頭踏面?zhèn)麚p識別結(jié)果。

2.如權(quán)利要求1所述的基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測方法，其特征在于，還包括：

將所述鋼軌圖像進(jìn)行裁剪旋轉(zhuǎn)，獲得只包括鋼軌區(qū)域的鋼軌圖像。

3.如權(quán)利要求1所述的基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測方法，其特征在于，在將所述振動數(shù)據(jù)生成振動波形之前，還包括：

通過里程信息將所述鋼軌圖像和所述振動數(shù)據(jù)進(jìn)行對齊。

4.如權(quán)利要求1所述的基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測方法，其特征在于，所述軌頭踏面?zhèn)麚p識別模型按照如下方式訓(xùn)練：

獲取鋼軌的鋼軌圖像和鋼軌的振動數(shù)據(jù)；

將所述振動數(shù)據(jù)生成振動波形，并將所述振動波形轉(zhuǎn)換為2D波形圖像；

將所述鋼軌圖像、所述振動波形和所述2D波形圖像融合，生成多模態(tài)鋼軌圖像；

將所述多模態(tài)鋼軌圖像打上標(biāo)簽，其中所述標(biāo)簽表示軌頭踏面是否包含傷損且傷損種類；

將所述多模態(tài)鋼軌圖像和所述標(biāo)簽輸入深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，生成軌頭踏面?zhèn)麚p識別模型。

5.如權(quán)利要求1所述的基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測方法，其特征在于，將所述振動波形轉(zhuǎn)換為2D波形圖像包括：

采用格拉姆角場或馬爾可夫轉(zhuǎn)移場，將所述振動波形轉(zhuǎn)換為2D波形圖像。

6.如權(quán)利要求1所述的基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測方法，其特征在于，將所述鋼軌圖像、所述振動波形和所述2D波形圖像融合，生成多模態(tài)鋼軌圖像，包括：

將所述鋼軌圖像、所述振動波形和所述2D波形圖像進(jìn)行縮放；

將縮放后的所述鋼軌圖像、所述振動波形和所述2D波形圖像分別轉(zhuǎn)換為單通道灰度圖像；

將轉(zhuǎn)換為單通道灰度圖像的所述鋼軌圖像、所述振動波形和所述2D波形圖像進(jìn)行組合，獲得標(biāo)準(zhǔn)三通道圖像。

7.一種基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測裝置，其特征在于，包括：

信息獲取模塊，用于獲取待檢測鋼軌的鋼軌圖像和鋼軌的振動數(shù)據(jù)，其中，鋼軌的振動數(shù)據(jù)由車輪的軸箱中搭載的垂直方向的加速度傳感器獲得；

波形轉(zhuǎn)換模塊，用于將所述振動數(shù)據(jù)生成振動波形，并將所述振動波形轉(zhuǎn)換為2D波形圖像；

圖像融合模塊，用于將所述鋼軌圖像、所述振動波形和所述2D波形圖像融合，生成多模態(tài)鋼軌圖像；

檢測模塊，用于將所述多模態(tài)鋼軌圖像輸入到軌頭踏面?zhèn)麚p識別模型中，獲得軌頭踏面?zhèn)麚p識別結(jié)果。

8.一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)權(quán)利要求1至6任一所述基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測方法。

9.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6任一所述基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測方法。

10.一種計算機(jī)程序產(chǎn)品，其特征在于，所述計算機(jī)程序產(chǎn)品包括計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6任一所述基于多模態(tài)圖像的鋼軌軌頭踏面?zhèn)麚p檢測方法。