[發明專利]基于深度學習的信號燈故障檢測方法

在審

• 申請號: 202011386763.6
• 申請日: 2020-12-02
• 公開（公告）號: CN112528787A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 張永;趙永勝;王光超
• 申請（專利權）人: 博云視覺科技（青島）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06T7/70
• 代理公司: 北京金碩果知識產權代理事務所(普通合伙) 11259
• 代理人: 郝曉霞

1.一種基于深度學習的信號燈故障檢測方法，其特征在于：包括

步驟一、配置電警攝像頭，使信號燈位置在電警畫面中，接通全天時段的實時流畫面，逐幀獲取圖像地址并解碼重編碼成所需格式圖像后，在圖像中標注出信號燈所在區域，以及信號燈的類型及燈頭數量信息；

步驟二、檢測區域選定，將所有路口的電警圖片輸入到目標檢測網絡中，網絡會輸出紅綠燈在圖片中的位置，以紅綠燈的中心位置擴充700*700的檢測區域，將此檢測區域寫入數據庫中，可以避免重復配置，如果，為檢測到紅綠燈位置，則需要手工查找出圖片中的紅綠燈位置，并以紅綠燈的中心位置擴充700*700的檢測區域，將此檢測區域寫入數據庫中；

步驟三、目標檢測，根據接入的電警圖片，利用目標檢測網絡進行紅綠燈位置檢測，其中目標檢測網絡利用ARM模塊、TCB模塊和ODM模塊加強特征融合、精細目標檢測，使得目標檢測在復雜情景下仍具有較高的精度；

步驟四、區域匹配，首先通過多目標檢測網絡生成每一幀的檢測框，但由于同一個紅綠燈位置可能會出現多個檢測框，因此要進行NMS操作，去除多余的檢測框，再與數據庫中對應電警配置的標注區域進行IOU計算；IOU計算的是檢測框與數據庫中標定的標注框的交集比；如果其IOU值大于0.6，則以檢測框的坐標在電警畫面中標定位置，并且認為信號燈不存在偏移；如果小于0.6，則以檢測框的長寬，標注框的中心點計算其IOU的值；如果大于0.6，則認為電警的角度位置發生了變化導致信號燈發生偏移，并使用檢測出來的檢測框在電警畫面中對紅綠燈進行標定；

步驟五、目標分類，定位到信號燈位置后，要對信號燈各個燈頭的狀態、顏色進行分類，狀態包括直行、左轉、右轉和人行，顏色包括黑、紅、黃和綠；

步驟六、信號燈故障邏輯判定，通過對信號燈的各個燈頭進行分類后，將分類的結果結合當地的信號燈規則，進行組合判斷，從而判斷信號燈是否正常在工作；

步驟七、將信號燈故障信息推送給平臺接口。

2.根據權利要求1所述的基于深度學習的信號燈故障檢測方法，其特征在于：目標檢測網絡，目標檢測網絡中ARM模塊，通過提出大量的proposal bbox以及結合多層特征訓練檢測網絡，ARM模塊由一些卷積層、批標準化層、激活層構成，ARM模塊通過將所有的檢測框分為前景與背景，得到比較粗略檢測框的坐標回歸值，隨后將特征圖傳入TCB模塊；

TCB模塊主要做特征轉化工作，將ARM輸入的特征圖轉化成ODM的輸入，TCB模塊由兩個分支，其中一個是上采樣分支，其主要作用是融合多層次的特征；另一個分支依次包括3*3卷積核、stride為1、卷積核為256的卷積層、relu層、3*3卷積核、stride為1、卷積核為256的卷積層以及和4*4卷積核、stride為2、卷積核為256的反卷積層進行Eltw sum層、relu層、再接一個3*3卷積核、stride為1、卷積核為256的卷積層和relu層；將TCB處理后的特征圖傳入ODM模塊；

ODM模塊主要做多目標分類和回歸，分類的主要目的是區分開信號燈和計時器，而回歸的主要目的是輸出信號燈在畫面中可能的位置；它主要利用的是TCB模塊提供的特征圖，這樣做的好處在于使淺層的特征圖與高層的特征圖融合，可以提取到各個感受野的特征。

3.根據權利要求1所述的基于深度學習的信號燈故障檢測方法，其特征在于：目標分類網絡，分類使用目標分類網絡，主要對resnet網絡進行改進，包括加入attention機制以及在同一層特征中加入多尺度特征信息；

attention機制的本質是從人類總能抓住圖片中的重要區域獲得的靈感，給特征圖的不同區域賦予不同的區中系數，這樣可以增強圖片中重要的特征，忽視背景特征；

在同一層加入不同尺度的特征是為了獲取的特征具有更強的魯棒性，多層特征的融合既可以防止梯度消失，又可以使淺層的特征對分類有正向的激勵作用。