[發(fā)明專利]一種鐵路貨車制動梁支柱拉鉚銷套環(huán)丟失故障檢測方法

有效

• 申請?zhí)枺?/td>: 202011222523.2
• 申請日: 2020-11-05
• 公開（公告）號: CN112330631B
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 韓旭
• 申請（專利權(quán)）人: 哈爾濱市科佳通用機(jī)電股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62
• 代理公司: 哈爾濱市松花江專利商標(biāo)事務(wù)所 23109
• 代理人: 時起磊

1.一種鐵路貨車制動梁支柱拉鉚銷套環(huán)丟失故障檢測方法，其特征在于，包括：

步驟一、獲取鐵路貨車圖像，并截取此圖像中帶有制動梁支柱部分的圖像，收集圖像中制動梁支柱拉鉚銷套環(huán)存在的圖像作為正樣本，同時收集制動梁支柱拉鉚銷套環(huán)丟失的圖像作為負(fù)樣本；利用標(biāo)記軟件對正負(fù)樣本拉鉚銷套環(huán)部分進(jìn)行標(biāo)記，生成圖像對應(yīng)的標(biāo)記文件，形成數(shù)據(jù)集；

步驟二、構(gòu)建故障檢測網(wǎng)絡(luò)，即采用BiFPN特征金字塔優(yōu)化Faster-rcnn網(wǎng)絡(luò)中的特征提取網(wǎng)絡(luò)和RPN網(wǎng)絡(luò)；具體過程為：

步驟二一、使用Resnet50特征提取網(wǎng)絡(luò)從正負(fù)樣本圖像中提取圖像特征，得到特征圖，采用BiFPN特征金字塔對Resnet50特征提取網(wǎng)絡(luò)的不同卷積層產(chǎn)生的特征圖進(jìn)行融合，重復(fù)BiFPN的結(jié)構(gòu)，利用RPN網(wǎng)絡(luò)提取每一次BiFPN融合特征圖中的候選區(qū)域；具體過程為：

步驟二一a、在特征圖上設(shè)置初始候選區(qū)域；

步驟二一b、計算初始候選區(qū)域與標(biāo)簽位置框的相似程度和IOU，其中，IOU表示候選區(qū)域與標(biāo)簽位置框相交部分的大小除以候選區(qū)域與標(biāo)簽位置框總共的大?。蝗舫跏己蜻x區(qū)域與標(biāo)簽位置框的相似程度大于0.3且初始候選區(qū)域與標(biāo)簽位置框的IOU大于0.3，則認(rèn)為初始候選區(qū)域為目標(biāo)的置信程度為1，初始候選區(qū)域類別標(biāo)簽為目標(biāo)；若初始候選區(qū)域與標(biāo)簽位置框的相似程度小于0.3且初始候選區(qū)域與標(biāo)簽位置框的IOU大于0.3，則認(rèn)為初始候選區(qū)域為目標(biāo)的置信程度為0.5，初始候選區(qū)域類別標(biāo)簽為目標(biāo)；否則初始候選區(qū)域為目標(biāo)的置信程度為0，初始候選區(qū)域類別標(biāo)簽為背景；

RPN損失函數(shù)表示為：

其中，i表示網(wǎng)絡(luò)訓(xùn)練時一個批次圖片中初始候選區(qū)域的下標(biāo)；p_i表示第i個初始候選區(qū)域預(yù)測為目標(biāo)的置信程度；表示第i個初始候選區(qū)域在RPN網(wǎng)絡(luò)中的類別標(biāo)簽，若初始候選區(qū)域為目標(biāo)則為1，否則為0；t_i表示第i個初始候選區(qū)域預(yù)測的位置向量，包含位置框的中心點坐標(biāo)和位置框的寬和高；表示第i個初始候選區(qū)域位置向量標(biāo)簽，同樣包含位置框的中心點坐標(biāo)和位置框的寬和高；歸一化參數(shù)N_cls與N_reg分別表示一個批次圖片的數(shù)量與一個批次初始候選區(qū)域的個數(shù)；λ平衡了分類與位置回歸定位損失的重要程度；L_cls(*)表示RPN網(wǎng)絡(luò)的分類損失；L_reg(*)表示RPN網(wǎng)絡(luò)的位置回歸損失；其中，RPN網(wǎng)絡(luò)的分類損失L_cls(*)為：

RPN網(wǎng)絡(luò)的位置回歸損失L_reg(*)為：

其中，R表示smooth l1損失；x為中間變量，

當(dāng)初始候選區(qū)域與標(biāo)簽位置框的相似程度大于0.3且初始候選區(qū)域與標(biāo)簽位置框的IOU大于0.3時，q_i為1，則初始候選區(qū)域在RPN網(wǎng)絡(luò)中的類別標(biāo)簽為目標(biāo)的置信程度，目標(biāo)的置信程度為1，RPN網(wǎng)絡(luò)位置回歸損失正常計算反傳；若初始候選區(qū)域與標(biāo)簽位置框的相似程度小于0.3且候選區(qū)域與標(biāo)簽位置框的IOU大于0.3時，q_i為0.5，為1，則初始候選區(qū)域在RPN網(wǎng)絡(luò)中的類別標(biāo)簽為目標(biāo)的置信程度，目標(biāo)的置信程度為1*0.5＝0.5；若初始候選區(qū)域與標(biāo)簽位置框的IOU小于0.3，為0，初始候選區(qū)域在RPN網(wǎng)絡(luò)中的類別標(biāo)簽為目標(biāo)的置信程度為0；由于為0，不對RPN網(wǎng)絡(luò)的位置回歸損失進(jìn)行反傳計算；從初始候選區(qū)域得到經(jīng)過初步位置回歸與分類的候選區(qū)域；

步驟二二、將3個RPN網(wǎng)絡(luò)產(chǎn)生的候選區(qū)域特征圖進(jìn)行ROI池化，將池化后的特征圖送入到分類與位置的回歸定位網(wǎng)絡(luò)中，得到目標(biāo)的位置與類別；

步驟二三、由每一次分類與回歸定位網(wǎng)絡(luò)得到的目標(biāo)類別與位置結(jié)果進(jìn)行非極大值抑制，得到最終的目標(biāo)類別與位置；

步驟三、訓(xùn)練構(gòu)建的故障檢測網(wǎng)絡(luò)；

步驟四、將待檢測圖像送入訓(xùn)練好的故障檢測網(wǎng)絡(luò)中進(jìn)行檢測，獲得用于表征拉鉚銷套環(huán)是否丟失的檢測結(jié)果。