[發(fā)明專利]基于領(lǐng)域自適應(yīng)和注意力機(jī)制的霧天火車故障檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210258835.1
• 申請(qǐng)日: 2022-03-16
• 公開（公告）號(hào): CN114596477A
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 俞菲;俞科棟;王瀟祎;謝國(guó)烜;許諾;楊綠溪
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V10/764;G06V10/40;G06K9/62
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 秦秋星

1.一種基于領(lǐng)域自適應(yīng)和注意力機(jī)制的霧天火車故障檢測(cè)方法，其特征在于，所述方法包括如下步驟：

步驟1：準(zhǔn)備正常場(chǎng)景下的火車故障數(shù)據(jù)集作為源域數(shù)據(jù)集和霧天場(chǎng)景下的火車故障數(shù)據(jù)集作為目標(biāo)域數(shù)據(jù)集；

步驟2：構(gòu)建基于通道自注意力的目標(biāo)檢測(cè)模型，所述目標(biāo)檢測(cè)模型包括結(jié)合通道注意力機(jī)制的特征提取網(wǎng)絡(luò)，區(qū)域建議網(wǎng)絡(luò)RPN和ROI pooling層；對(duì)所述特征提取網(wǎng)絡(luò)，加入通道注意力模塊；

步驟3：使用源域數(shù)據(jù)集預(yù)訓(xùn)練目標(biāo)檢測(cè)模型；

步驟4：在目標(biāo)檢測(cè)模型中加入圖像級(jí)域自適應(yīng)模塊和實(shí)例級(jí)域自適應(yīng)模塊來(lái)實(shí)現(xiàn)源域和目標(biāo)域的特征對(duì)齊；

步驟5：最后輸入帶標(biāo)簽的源域數(shù)據(jù)集和不帶標(biāo)簽的目標(biāo)域數(shù)據(jù)集完成域自適應(yīng)的火車故障檢測(cè)。

2.根據(jù)權(quán)利要求1所述的一種基于領(lǐng)域自適應(yīng)和注意力機(jī)制的霧天火車故障檢測(cè)方法，其特征在于，所述目標(biāo)檢測(cè)模型為Faster-RCNN，特征提取網(wǎng)絡(luò)為ResNet-50，通道自注意力模塊采用ECA-NET。

3.根據(jù)權(quán)利要求2所述的一種基于領(lǐng)域自適應(yīng)和注意力機(jī)制的霧天火車故障檢測(cè)方法，其特征在于，步驟2中所述特征提取網(wǎng)絡(luò)中添加通道注意力機(jī)制包括以下步驟：

ResNet-50共有五個(gè)layer，不使用第五個(gè)layer，前三個(gè)layer中，每個(gè)layer后添加通道注意力模塊；每個(gè)通道注意力模塊由一個(gè)平均池化層、一個(gè)最大池化層、兩個(gè)全連接層、兩個(gè)激活函數(shù)層組成；從layer輸出的特征圖為H×W×C，在通道注意力模塊中，特征圖被全局平均池化層壓縮為一個(gè)1×1×C的向量；將該向量作維度壓縮和調(diào)換，轉(zhuǎn)化為維度為C×1的二維向量；將該二維向量進(jìn)行一維卷積，輸入輸出通道數(shù)均為1，卷積核的大小由下列公式計(jì)算得到：

得到向量維度仍為C×1；經(jīng)過(guò)激活函數(shù)層后還原為1×1×C向量輸出，與原來(lái)的H×W×C特征圖相乘，得到通道注意力加強(qiáng)后的特征圖，維度仍為H×W×C。

4.根據(jù)權(quán)利要求2所述的一種基于領(lǐng)域自適應(yīng)和注意力機(jī)制的霧天火車故障檢測(cè)方法，其特征在于，步驟4包括以下步驟：

S4.1將圖像輸入ResNet50網(wǎng)絡(luò)提取特征，得到feature map；RPN利用得到的featuremap生成若干個(gè)建議窗口；把建議窗口映射到Faster-RCNN的最后一層卷積feature map上；通過(guò)RoI pooling層使每個(gè)建議窗口生成固定尺寸的feature map，通過(guò)全連接層后再進(jìn)行邊界框回歸和分類；模型的損失函數(shù)包括RPN的邊界框回歸損失和ROI的分類損失；

S4.2在基于通道自注意力的Faster-RCNN模型的特征提取網(wǎng)絡(luò)后加入圖像級(jí)域自適應(yīng)模塊來(lái)消除圖像級(jí)別的域分布不匹配；

S4.3在基于通道自注意力的Faster-RCNN模型的最終分類器之前，通過(guò)全連接層后的特征向量后加入實(shí)例級(jí)別域自適應(yīng)模塊來(lái)消除實(shí)例級(jí)別的域分布不匹配；

S4.4加入一致性正則化；

S4.5在網(wǎng)絡(luò)訓(xùn)練階段，GRL梯度反轉(zhuǎn)層在網(wǎng)絡(luò)正向傳播過(guò)程中傳遞的是正值，而在反向傳播過(guò)程中，傳播的是負(fù)值；該層的作用是將域自適應(yīng)模塊的損失最大化；整個(gè)模型的損失函數(shù)可寫為：

L＝L_det+λ(L_img+L_ins+L_cst)

λ是一個(gè)平衡Faster-RCNN檢測(cè)誤差和域自適應(yīng)誤差的參數(shù)，L_det表示分類損失，L_img表示圖像級(jí)自適應(yīng)損失函數(shù)，L_ins表示實(shí)例級(jí)自適應(yīng)損失函數(shù)，L_cst表示一致性正則化的損失函數(shù)。

5.根據(jù)權(quán)利要求4所述的一種基于領(lǐng)域自適應(yīng)和注意力機(jī)制的霧天火車故障檢測(cè)方法，其特征在于，邊界框回歸損失使用smoothL1損失，分類損失則采用分類的交叉熵?fù)p失

L_det＝L_rpn+L_roi

L_rpn表示邊界框回歸損失，L_roi表示的分類損失。