[發(fā)明專利]一種YOLOv3鐵路關鍵作業(yè)流程自動鑒別方法與系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210360677.0
• 申請日: 2022-04-07
• 公開（公告）號: CN114818880A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設計）人: 李軍;張志晨;王昱凱;高鶴;鄭學漢;付文文;吳保航;王靖晗;楊天賜
• 申請（專利權）人: 齊魯工業(yè)大學;山東正晨科技股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06V20/40;G06V10/80;G06V10/764;G06V10/82
• 代理公司: 濟南格源知識產(chǎn)權代理有限公司 37306
• 代理人: 劉曉政

本發(fā)明涉及計算機視覺領域,尤其是一種YOLOv3鐵路關鍵作業(yè)流程自動鑒別方法與系統(tǒng)，包括：通過人工作業(yè)時的視頻以及得到的包含列車中關鍵特征的圖像信息；對YOLOv3網(wǎng)絡進行預訓練，將圖像輸入darknet53，通過殘差網(wǎng)絡Residual，將主干的輸入與輸出結合，進行特征提取，通過下采樣操作，獲取特征圖并利用多尺度模塊將特征圖劃分為低頻和高頻特征圖，通過池化層壓縮低頻特征圖，減少分量冗余。本發(fā)明優(yōu)化列車安全檢查中關鍵點的識別，提升傳統(tǒng)部分對列車安全檢查中小目標的關鍵特征的精度，去除冗余分量，解決人工審查難度大的問題，形成人工作業(yè)視頻分析全覆蓋的目的。

技術領域

本發(fā)明涉及計算機視覺領域，特別在是一種結合目標檢測和目標識別的改進YOLOv3網(wǎng)絡結構的鐵路關鍵作業(yè)流程自動鑒別的方法與系統(tǒng)。

背景技術

YOLOv3網(wǎng)絡由三部分組成，分別是darknet53構成主干部分，F(xiàn)PN構成加強特征提取網(wǎng)絡，YOLO_Head構成特征融合網(wǎng)絡，利用卷積方式對目標特征進行多尺度融合，相比傳統(tǒng)的機器學習領域，YOLOv3在目標檢測領域?qū)ξ矬w的檢測精度和檢測速度方面進行了提升，但對于較小的物體和關鍵特征的識別精度仍無法滿足列車安全檢查中的要求。

基于此類情況，提出一種YOLOv3鐵路關鍵作業(yè)流程自動鑒別方法是有必要的。對于改進的YOLOv3網(wǎng)絡，主要是在網(wǎng)絡結構、檢測分支等角度進行優(yōu)化和擴展，提高列車安全檢查中小目標的關鍵特征的精度。

發(fā)明專利CN113706815A中采用的YOLOv3網(wǎng)絡模型對數(shù)據(jù)集進行訓練，結合光流法實現(xiàn)了火災識別，但對于微型火焰識別精度不夠，沒有對YOLO_Head模塊中的檢測分支進行擴展，只有等待有明顯火焰跡象時才可檢測到，從而導致檢測不及時、火災情況加劇的潛在風險。

發(fā)明專利CN109727428A通過改進YOLOv3算法，對缺陷圖像識別分類，判斷相同位置和報警類型的抑制狀態(tài)來實現(xiàn)對重復報警的抑制。該發(fā)明將前三層殘差網(wǎng)絡與對應輸出層進行級聯(lián)，但實際上擴展后的YOLOv3網(wǎng)絡無需全部用到23層殘差網(wǎng)絡，該發(fā)明專利未對殘差網(wǎng)絡進行簡化，過多的殘差單元增加了網(wǎng)絡結構的復雜程度，訓練時間較長，冗余分量較多，從而降低了模型質(zhì)量。

發(fā)明專利CN112307984A通過改進YOLOv3骨干網(wǎng)絡，增加可愛卷積和雙注意力機制處理，實現(xiàn)了基于神經(jīng)網(wǎng)絡的安全帽檢測方法和裝置。但是，誤檢漏檢的情況仍有存在，例如工人距離檢測裝置較遠時或有部分物體遮擋住工人頭部時，且該發(fā)明針對殘差網(wǎng)絡進行了改進，忽略了過度層的設計，簡單的過渡層使得下采樣時淺層信息有所丟失，不利于特征信息的平滑提取。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明提出一種YOLOv3鐵路關鍵作業(yè)流程自動鑒別方法與系統(tǒng)，優(yōu)化列車安全檢查中關鍵點的識別，提升傳統(tǒng)部分對列車安全檢查中小目標的關鍵特征的精度，去除冗余分量，解決人工審查難度大的問題，形成人工作業(yè)視頻分析全覆蓋的目的。

本發(fā)明提供如下技術方案：一種YOLOv3鐵路關鍵作業(yè)流程自動鑒別方法,包括如下步驟，

步驟1：通過人工作業(yè)視頻，對包含關鍵點的部分進行逐幀提取，獲得鐵路作業(yè)流程中的關鍵特征的圖像信息；

步驟2：基于步驟1所述的圖像，采用labelimg軟件對圖像打標簽，標注圖像內(nèi)關鍵特征的矩形包圍框，獲取矩形包圍框在原圖像的位置、寬高和類別信息，并生成對應的標簽存儲信息，搭建數(shù)據(jù)集；

步驟3：基于步驟2所述的數(shù)據(jù)集，將圖像輸入darknet53網(wǎng)絡，利用殘差網(wǎng)絡Residual使主干的輸入與輸出結合，進行特征提取，通過下采樣操作，獲取特征圖并利用YOLO_Head模塊將特征圖劃分為低頻和高頻特征圖，通過池化層使低頻特征圖壓縮，減少分量冗余，傳入特征提取網(wǎng)絡；