[發明專利]一種基于時空域雙通道火災視頻煙霧識別方法

在審

• 申請號: 202210215812.2
• 申請日: 2022-03-07
• 公開（公告）號: CN114580541A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 鄭遠攀;王振宇;許博陽;牛依青;高宇飛
• 申請（專利權）人: 鄭州輕工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 鄭州優盾知識產權代理有限公司 41125
• 代理人: 栗改

1.一種基于時空域雙通道火災視頻煙霧識別方法，其特征在于，其步驟如下：

步驟一：收集并制作含有云、霧干擾圖像和視頻的煙霧數據集；

步驟二：搭建靜態特征提取網絡和動態特征提取網絡，對靜態特征提取網絡和動態特征提取網絡進行融合連接，構建視頻煙霧識別網絡模型；

步驟三：利用步驟一中的煙霧數據集對步驟二構建的視頻煙霧識別網絡模型進行訓練，得到優化后的視頻煙霧識別網絡模型；

步驟四：利用優化后的視頻煙霧識別網絡模型對實時采集的煙霧視頻進行處理，靜態特征提取網絡提取圖像空間域上的靜態特征，動態特征提取網絡提取視頻序列在時間域上的動態特征，并將靜態特征和動態特征進行融合生成煙霧特征，對煙霧特征進行識別，判斷是否存在煙霧，如果存在煙霧則進行報警。

2.根據權利要求1所述的基于時空域雙通道火災視頻煙霧識別方法，其特征在于，所述步驟一中的煙霧數據集包含森林、田野、室內、操場、工地、城市、公路場景下的煙霧圖像或視頻，煙霧數據集是包含多種正樣本、負樣本的圖像和視頻。

3.根據權利要求1或2所述的基于時空域雙通道火災視頻煙霧識別方法，其特征在于，所述視頻煙霧識別網絡模型包括并聯連接的靜態特征提取網絡和動態特征提取網絡，靜態特征提取網絡和動態特征提取網絡均與融合組件相連接，融合組件與全連接單元相連接；所述融合組件采用自適應融合方法，利用神經網絡的學習能力，為融合特征重新分配權值。

4.根據權利要求3所述的基于時空域雙通道火災視頻煙霧識別方法，其特征在于，所述融合組件包括特征融合單元，特征融合單元將靜態特征提取網絡提取的靜態特征和動態特征提取網絡提取的動態特征組合：采用3D全局平均池化得到一組1×(n+k)的特征向量I，特征向量經過重組轉化為的特征矩陣I，特征矩陣I通過卷積處理得到權值矩陣II，將的特征矩陣II轉換為1×(n+k)的權值向量II；將權值向量II和對應的靜態特征和動態特征相乘得到融合后的特征，輸入全連接單元的全連接層。

5.根據權利要求4所述的基于時空域雙通道火災視頻煙霧識別方法，其特征在于，所述視頻煙霧識別網絡模型的融合方法為

其中，參數和經過反向傳播自主學習得到，F_st和F_dy分別表示用于融合的靜態特征和動態特征，為融合后的特征。

6.根據權利要求3-5中任一項所述的基于時空域雙通道火災視頻煙霧識別方法，其特征在于，所述靜態特征提取網絡是基于殘差注意力模塊搭建的；所述靜態特征提取網絡依次連接12個殘差注意力模塊，且每兩個2個殘差注意力模塊后連接1個池化層；所示殘差注意力塊均采用3×3大小的卷積核，步長為1；池化層均采用大小為2×2的最大池化且步長為2；所述靜態特征提取網絡采用ReLU非線性非飽和激活函數。

7.根據權利要求6所述的基于時空域雙通道火災視頻煙霧識別方法，其特征在于，所述殘差注意力塊包括通道注意力單元、空間注意力單元和殘差結構，輸入特征圖X經過主干分支中的卷積運算傳送至通道注意力單元，然后經過通道注意力單元處理得到的特征圖傳送至空間注意力單元，空間注意力單元處理得到特征圖特征圖是重新分配權值后的特征圖，特征圖與跳躍分支中的輸入特征圖X相加得到輸出特征圖