[發明專利]一種YOLOv3鐵路關鍵作業流程自動鑒別方法與系統

在審

• 申請號: 202210360677.0
• 申請日: 2022-04-07
• 公開（公告）號: CN114818880A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 李軍;張志晨;王昱凱;高鶴;鄭學漢;付文文;吳保航;王靖晗;楊天賜
• 申請（專利權）人: 齊魯工業大學;山東正晨科技股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06V20/40;G06V10/80;G06V10/764;G06V10/82
• 代理公司: 濟南格源知識產權代理有限公司 37306
• 代理人: 劉曉政

1.一種YOLOv3鐵路關鍵作業流程自動鑒別方法,其特征在于包括如下步驟，

步驟1：通過人工作業視頻，對包含關鍵點的部分進行逐幀提取，獲得鐵路作業流程中的關鍵特征的圖像信息；

步驟2：基于步驟1所述的圖像，標注圖像內關鍵特征的矩形包圍框，獲取矩形包圍框在原圖像的位置、寬高和類別信息，并生成對應的標簽存儲信息，搭建數據集；

步驟3：基于步驟2所述的數據集，將圖像輸入darknet53網絡，利用殘差網絡Residual使主干的輸入與輸出結合，進行特征提取，通過下采樣操作，獲取特征圖并利用YOLO_Head模塊將特征圖劃分為低頻和高頻特征圖，通過池化層使低頻特征圖壓縮，減少分量冗余，傳入特征提取網絡；

步驟4：基于步驟3所述的YOLOv3網絡，將所述的YOLOv3網絡進行改進，過渡層替換成1×1和3×3/2的卷積層并交替使用，然后擴展多尺度YOLO_Head模塊，將原有的3個YOLO_Head模塊擴展為4個，增添104×104的YOLO_Head模塊；

步驟5：基于步驟3所述的darknet53網絡，將擴展后的四個有效特征層在加強特征網絡FPN中進行特征融合，同時對原有的3個YOLO_Head模塊進行上采樣，添加輸出為52×52的上采樣過程，并實現和104×104特征層級聯，結合不同尺度的特征信息，從而獲取加強過的有效特征層；

步驟6：基于步驟5所述的加強過的有效特征層，傳入分類器與回歸器，預測特征點對應物體的情況，通過梯度下降法計算關鍵點對應的置信度損失、類別損失以及位置損失；

步驟7：基于步驟4所述的改進的YOLOv3網絡，進行凍結以及解凍訓練，輸入圖像大小為416×416，在改進的殘差網絡中提取關鍵特征，采用原有的3種卷積特征層和新增添的卷積特征層預測目標坐標和位置，保存每個epoch的結果以及tensorboard的結果，輸出最終的模型權重；

步驟8：基于步驟7所述的模型權重，利用損失值最低的權重文件對作業流程進行分析，判斷視頻中是否包含了列車中關鍵點的檢查，降低人工檢查成本，提高作業視頻分析速度，達到作業視頻分析全覆蓋，從而形成完整的閉環工作的目的。

2.根據權利要求1所述的一種YOLOv3鐵路關鍵作業流程自動鑒別方法，其特征在于,

步驟2中，首先會將圖像轉換成RGB形式，進行不失真的尺寸調整；其次對輸入的圖像進行歸一化，并添加batch_size維度；最后采用k-means聚類方法，對歸一化的圖像寬高進行聚類，獲取先驗框的寬高。

3.根據權利要求1所述的一種YOLOv3鐵路關鍵作業流程自動鑒別方法，其特征在于,

步驟3中，初始化YOLOv3網絡中的參數，其中，YOLOv3網絡中的參數有凍結階段迭代次數Freeze epoch、凍結階段學習率Freeze lr、凍結階段輸入圖像數量Freeze_batch_size、解凍階段迭代次數Unfreeze epoch、解凍階段學習率Unfreeze lr、解凍階段圖像輸入數量Unfreeze_batch_size；

對凍結階段迭代訓練次數進行設置，并進行迭代訓練計算；其中，第一次進行迭代訓練時Freeze epoch=1；判斷當前訓練次數是否小于解凍階段迭代訓練次數；若所述當前訓練次數小于所述解凍階段迭代訓練次數，利用多尺度模塊將特征圖劃分為低頻和高頻特征圖；若所述當前訓練次數不小于所述解凍階段迭代訓練次數，則結束迭代訓練。

4.根據權利要求1所述的一種YOLOv3鐵路關鍵作業流程自動鑒別方法,其特征在于，

步驟4中，對于YOLOv3網絡進行改進時，刪除了YOLOv3檢測層前的兩組卷積層，為預防下采樣過程中特征信息的丟失，過渡層將1×1和3×3/2的卷積層交替使用，然后擴展多尺度檢測YOLO_Head模塊，原有網絡檢測尺度為3個，擴展后的檢測尺度為4個，分支結構提升至4個，增添104×104的YOLO_Head模塊。