[發明專利]基于深度學習的交叉桿端部緊固螺栓丟失故障檢測方法

在審

• 申請號: 202010438296.0
• 申請日: 2020-05-21
• 公開（公告）號: CN111652212A
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 金佳鑫
• 申請（專利權）人: 哈爾濱市科佳通用機電股份有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06T7/00;B61F5/50;G01M17/08
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 劉強

1.基于深度學習的交叉桿端部緊固螺栓丟失故障檢測方法，其特征在于包括：

步驟一：獲取交叉桿端部緊固螺栓的高清線陣圖像，并建立樣本數據集；

步驟二：對樣本數據集進行數據擴增；

步驟三：對數據集中的圖像進行標記；

步驟四：建立TensorFlow Object Detection API深度學習目標檢測模型，并將原始圖像和標記數據生成數據集，用于模型訓練；

步驟五：讀取TFDS貨車圖像檢測系統服務器上的過車圖像，粗定位出緊固螺栓部件區域子圖像，通過調用子圖像，將子圖像輸入到訓練好的模型中，進行實時的故障檢測，模型對子圖像檢測出屬于正常螺栓的概率為a，屬于螺栓丟失的概率為b，a和b的概率范圍用0到1的數值表示，并且檢測到的正常類或者丟失類的概率互相之間是不相關的個體；

步驟六：首先將螺栓正常閾值設定為0.97，丟失閾值設定為0.9，疑似丟失閾值設定為0.5，然后根據模型輸出的閾值進行判斷：

若檢測到丟失類的概率b，并且b0.9，則認為存在緊固螺栓丟失情況，直接報警給TFDS檢測平臺；若0.5b0.9，則判定屬于疑似丟失情況，并繼續判斷是否可以檢測到正常類的概率a，若檢測到正常類的概率a，則判定正常類的概率a是否大于0.97，若a0.97，則不報警，若a0.97，則報警給TFDS檢測平臺；

若檢測到正常類的概率a0.1，且丟失類的概率b0.1，則認定子圖像可能存在異常，未檢測到有用信息，直接報警給TFDS檢測平臺；

若以上情況均不存在，則認為該車緊固螺栓圖像正常，繼續進行下一輛車的緊固螺栓部件檢測。

2.根據權利要求1所述的基于深度學習的交叉桿端部緊固螺栓丟失故障檢測方法，其特征在于所述步驟三中采用LabelImg工具對數據集中的圖像進行標記。

3.根據權利要求2所述的基于深度學習的交叉桿端部緊固螺栓丟失故障檢測方法，其特征在于所述數據集格式為pascal voc。

4.根據權利要求1所述的基于深度學習的交叉桿端部緊固螺栓丟失故障檢測方法，其特征在于所述步驟四中建立TensorFlow Object Detection API深度學習目標檢測模型的具體步驟為：

步驟四一：安裝TensorFlow環境和object detection api，并配置好相關環境變量；

步驟四二：選擇用于遷移學習的目標檢測預訓練模型faster_rcnn_inception_v2_coco；

步驟四三：將標記好的數據集首先通過程序自動生成訓練集和驗證集，并將數據集轉換成tfrecord格式文件train.record和val.record，供給后續模型調用；

步驟四四：依據預訓練模型準備相關配置文件，所述相關配置文件包括：

類標簽文件：pascal_label_map.pbtxt，

訓練參數文件：faster_rcnn_inception_v2_coco.config,在該文件內，設定類別個數，模型訓練子圖像大小，訓練模型的結構參數，訓練迭代次數以及訓練模型數據集路徑參數；

步驟四五：訓練深度學習模型，生成的模型文件為model.ckpt，然后設定迭代次數，多次訓練后選擇最優模型作為最終測試模型文件；

步驟四六：使用export_inference_graph.py導出模型，將模型文件model.ckpt轉換成.pb格式的新模型，即export_inference_graph.pb。

5.根據權利要求4所述的基于深度學習的交叉桿端部緊固螺栓丟失故障檢測方法，其特征在于，所述方法還包括模型測試步驟，所述模型測試步驟為：

選擇交叉桿端部緊固螺栓子圖像數據進行模型測試，若測試識別結果滿足設定的識別率和準確率標準，則模型訓練結束，利用TensorRT加速引擎對模型進行加速，若測試識別結果不滿足設定的識別率和準確率標準，則重新選擇交叉桿端部緊固螺栓子圖像數據進行模型測試，并測試識別結果是否滿足設定的識別率和準確率標準，

所述利用TensorRT加速引擎對模型進行加速的具體步驟為：

1、將網絡中無用的輸出層消除；

2、將網絡中的conv、BN、Relu三個層融合為一個層，對網絡結構進行垂直整合；

3、將輸入為相同的張量和執行相同操作的層融合在一起，對網絡結構進行水平整合；

4、將concat層的輸入直接進行下面的操作，不單獨進行concat后的輸入計算。