[發明專利]基于圖像對齊與檢測網絡模型的軌道塞釘故障檢測方法與系統

有效

• 申請號: 201710424243.1
• 申請日: 2017-06-07
• 公開（公告）號: CN107292870B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 姜育剛;王強;趙瑞瑋
• 申請（專利權）人: 復旦大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/136
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1. 軌道塞釘故障檢測方法，由鐵軌巡檢車記錄正常的塞釘圖像作為基準圖像；工作人員之后在例行的鐵軌巡檢過程中，利用巡檢車拍攝最新的鐵軌狀況，得到鐵軌狀況圖像作為待檢測圖像，對當前待檢測圖像和基準圖像進行對比分析處理，檢測出鐵軌中問題塞釘部件位置，從而進行及時更換問題塞釘，確保鐵軌運行的安全；其特征在于，具體步驟如下：

（1）基于深度網絡模型與顯著區域的高鐵軌道圖像精確對齊

高鐵軌道圖像精確對齊采用特定的網絡模型，該網絡模型包括：物體分割網絡、圖像對齊網絡，對基準圖像與待檢測圖像進行的關鍵點提取與位移偏差估計，實現快速、準確的軌道圖像對齊；其中：

物體分割網絡包括全卷積層結構的深度網絡，并針對鐵路軌道、枕木與道岔外排鎖的分割任務進行訓練；經過物體分割網絡后，得到圖像中鐵路軌道、枕木與道岔外排鎖的大致信息；分割網絡的輸出為每一個像素的類別，即：

其中，為第行第列對第類物體的預測概率，K是預測類別的個數；得到的物體分割區域作為原始圖像的權重，對網絡中間卷積層的圖像特征圖進行加權，其中顯著物體區域的權重接近1，非顯著物體區域的權重接近0，從而達到噪聲過濾的作用；最后特征加權的表征形式為：

其中，是第i行第j列是否為物體的權重，是原始的特征值，是加權后的特征值；

帶有權重的參考圖像與待對齊圖像的特征分別輸入后續的圖像對齊網絡，得到圖像對齊參數；該圖像對齊網絡包括若干卷積層和全連接層，最后輸出四個變量，分別融入擬合水平位移量?x、垂直位移量?y、水平拉伸系數γ_w和垂直拉伸系數γ_h，根據這些系數矯正輸入圖像就能得到對齊后的檢測圖像；對齊的操作用在數學上表示為：

式中，是對齊前的坐標，是對齊后的坐標；

（2）基于深度網絡模型與環境變化補償的軌道塞釘的故障檢測

軌道塞釘的故障檢測是通過深度網絡模型提取塞釘特征，并在網絡模型的中間層中融入環境補償信息，以減少天氣、光照的影響，提高對故障塞釘判定的準確性；所述深度網絡模型包括：物體檢測網絡、環境補償網絡、連接函數；其中：

參考圖像與對齊后的待檢測圖像首先送入物體檢測網絡；物體檢測網絡采用基于深度學習的帶有Region Proposal Network的物體檢測網絡對輸入圖像進行目標檢測，輸出物體的位置：橫軸、縱軸坐標、寬度、高度，以及特征表達；

同時，將整個參考圖像與對齊后的待檢測圖像輸入到環境補償網絡，得到環境變化補償特征，用以減少由于不同時間拍攝到的鐵軌照片受環境變化的影響；該環境補償網絡采用帶有多個卷積層的網絡結構，系統先將參考圖像與對齊后的檢測圖像相減，得到的殘差輸入到帶有多個卷積層的網絡結構，得到描述整體照片變化的深層特征描述，該特征將累加到待檢測的塞釘物體特征作為環境變化的補償量；參考圖像中的塞釘物體特征與經過環境變化補償的待檢測圖像中的塞釘物體特征被輸入到最后的類似于雙胞胎網絡中的連接函數進行比較；連接函數采用歐式距離函數；如果兩者的差異大于一定的閾值，則認為待檢測的塞釘存在故障，系統發出警報信息；

故障檢測過程中的物體檢測網絡、環境補償網絡、連接函數在模型訓練時作為一整體進行最優參數學習，訓練中使用的contrastive損失函數，它的數學形式是：

其中，E是最終的損失函數值，y=1代表兩組對比的部件圖像都屬于正常部件，y=0代表輸入的待檢測部件存在故障；N是輸入樣本的個數，是兩組預測值的差異度，a_n、b_n分別是參考樣本和待檢樣本的網絡輸出向量；margin是預設的常數閾值。