[發明專利]一種柴油車黑煙圖像識別方法、系統及存儲介質

有效

• 申請號: 202110357519.5
• 申請日: 2021-04-01
• 公開（公告）號: CN113221943B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 康宇;周漢勝;曹洋;許鎮義;夏秀山;李兵兵
• 申請（專利權）人: 中國科學技術大學先進技術研究院;安徽省生態環境監測中心（安徽省重污染天氣預報預警中心）
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 苗娟

1.一種柴油車黑煙圖像識別方法，其特征在于：包括以下步驟，

獲取柴油車黑煙視頻，輸入事先訓練好的黑煙圖像識別模型中，進行測試得到動態的黑煙分割視頻，并識別出黑煙團；

所述黑煙圖像識別模型訓練步驟包括：

樣本構建：數據為紅綠燈路口監控拍攝柴油車啟動的視頻，記錄到排放出的黑色空氣污染物，視頻分為若干幀數；

網絡構建：通過在每k幀中，第c*k幀是當前待處理的幀，在[(c-1)*k,c*k]幀中隨機選取2幀來考慮與當前幀的上下文聯系，即將系統結構分成了兩大部分：前2幀關聯信息信息提取模塊即CEM和當前幀分割模塊CFSM；

網絡構建具體包括改進的resnet18、U-Net、卷積塊、softmax層和深度監督結構；

將隨機選取的三個相關幀輸入到改進resnet18中去，在此基礎上去掉了池化層、全連接層以及softmax層，將conv1、conv2_x、conv3_x、conv4_x和conv5_x最后一層卷積層修改為3×3的空洞卷積，除此以外所有的卷積核大小均為3×3，同時通道數逐漸從64、128、256到512；將其輸入到并列的卷積通道中去，每個通道包含了一個1×1和3×3的卷積塊，卷積塊的具體網絡結構包括卷積核為1×1和3×3的卷積層，在每個卷積層后包括了BatchNormalization和relu激活函數層，relu函數公式如下：

f(x)＝max(x,0)

x為輸入，f(x)為relu激活函數的輸出；卷積完之后經過通道上相連接和轉置后得到權重圖；

將當前幀圖片輸入到U-Net中，U-Net特征提取器的結構有：編碼器包括四個卷積塊；每個卷積塊都執行兩個連續的卷積，內核大小為3，步長為2，每個卷積都進行了批量歸一化，relu激活和最大池化；解碼器包括四個轉置的卷積塊；每個轉置的卷積塊由最近鄰居實現上采樣，然后進行卷積，內核大小為3，批處理歸一化，并激活relu，具有相同比例的編碼器和解碼器的特征圖沿著通道維度連接在一起同時導出特征圖，再對特征圖進行上采樣，使其大小相同，將5張特征圖在通道上相連，復制成兩份，一份傳遞給輔助分類器進行深度監督，另一份傳遞到1×1卷積塊進行通道融合，得到兩張特征圖；

將關聯信息信息提取模塊點乘當前幀分割模塊得到加權之后的結果，經過softmax層將選出最合適分割結果其中softmax層是將多個神經元的輸出，映射到(0，1)區間內，看成概率來理解，從而來進行分類，公式如下：

S_n為第n類的概率，out_m和out_n分別表示網絡輸出的向量中第m和n個值，使得所有類概率之和為1。

2.根據權利要求1所述的柴油車黑煙圖像識別方法，其特征在于：所述黑煙圖像識別模型的訓練步驟如下：

數據準備；

數據預處理；

搭建網絡；

訓練和測試；

其中，數據準備包括選擇若干n條數據中其中一條監控視頻V為例，取排放黑煙時間t的片段，幀數f的視頻；每隔k幀取一張圖片進行語義分割實驗，同時隨機選擇k幀內的其余2幀；

現有視頻n條，視頻分辨率為W×H，令m＝n×f×t×3/k，數據集表示為S＝m×W×H；

對應數據通過人工標注獲得帶有標簽的數據，將目標標記為y＝1背景標記為y＝0，所有的像素標簽構成了標簽集Y；

將數據按照8∶1∶1的比例劃分為訓練集、驗證集和測試集。

3.根據權利要求2所述的柴油車黑煙圖像識別方法，其特征在于：所述數據預處理通過對圖像垂直或者水平翻轉以及調節圖像亮度的方式對數據進行增廣，同時圖像原RGB減去RGB的平均值，重新調整圖像大小，隨機從圖像中截取一部分，即將圖片轉成Tensor，歸一化至[0，1]的方式進行數據預處理。