[發明專利]基于MaskRCNN的視頻火災識別方法及系統

在審

• 申請號: 202010931021.0
• 申請日: 2020-09-07
• 公開（公告）號: CN112052797A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 陳銳;錢廷柱;劉洪奎;郭云正
• 申請（專利權）人: 合肥科大立安安全技術有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 張景云

1.基于MaskRCNN的視頻火災識別方法，其特征在于：包括以下步驟：

S01.訓練MaskRCNN網絡，得到目標MaskRCNN網絡；

S02.將視頻流中的圖像傳輸到目標MaskRCNN網絡中，提取圖像中的特征信息，得到圖像分類數據集；

S03.構建EfficientNet網絡，并對網絡的權重進行初始化，使用步驟S02中構建好的圖像分類數據集進行訓練，得到目標EfficientNet網絡；

S04.使用目標MaskRCNN網絡檢測視頻中煙火目標，得到疑似煙霧、火焰的目標框坐標、概率值和類別；

S05.幀差能量判斷，針對步驟S04中得到的目標框通過幀差能量判斷，過濾靜態物體誤報現象；

S06.分類網絡最終決策，針對通過幀差能量判斷后保留的目標框，采用EfficientNet網絡進行分類。

2.根據權利要求1所述的基于MaskRCNN的視頻火災識別方法，其特征在于：所述目標MaskRCNN網絡構建模塊中訓練MaskRCNN網絡具體為：收集火災圖像樣本，進行樣本標注，構建訓練數據集，需要標注出圖像中煙霧和火焰等目標的坐標、類別，并對數據集進行數據增強；構建MaskRCNN網絡，并對MaskRCNN網絡的權重進行初始化，使用構建好的訓練集來訓練MaskRCNN網絡，得到目標MaskRCNN網絡；所述樣本標注具體為：標注出煙霧和火焰物體的左上角坐標(x1，y1)和右下角坐標(x2，y2)，對圖像數據集中的樣本進行數據增強操作包括隨機裁剪、隨機亮度抖動、隨機飽和度抖動、隨機對比度抖動、隨機hue抖動、mixup操作，Mixup的處理公式如下：

其中，λ～Beta(1.5,1.5)；

其中x_i表示待融合的圖像i，x_j表示待融合的圖像j，y_i和y_j分別表示圖像i和圖像j的標注信息；

所述MaskRCNN網絡的訓練過程為：

步驟S011，使用在COCO數據集上訓練好的網絡參數對MaskRCNN網絡進行參數初始化；

步驟S012：將訓練數據集中圖像樣本縮放到1024x1024后，然后利用MaskRCNN中的ResNet101+FPN網絡來提取訓練樣本圖像的整體特征圖；

步驟S013：將上述整體特征圖輸入RPN網絡中，預測出ROI區域，再根據候選區域目標框和標注目標框的重疊比挑選正負樣本；

步驟S014：對正負樣本對應特征圖上的ROI區域進行ROIAlign池化計算，以得到固定尺寸的候選區域特征圖；

ROIAlign池化計算時，首先將ROI區域目標框映射到特征圖上，再根據最小外接矩形算法，得到特征圖像ROI區域，將ROI區域劃分成m×m個網格，每個網格選取特征圖上4個點進行雙線性差值，最后得到尺寸為m×m的特征圖；

步驟S015：對ROIAlign計算后的ROI區域特征圖進分類和目標框的回歸計算；

步驟S016：計算MaskRCNN的損失函數，通過隨機梯度下降算法對所述損失函數進行梯度計算，并更新MaskRCNN網絡的權重；

步驟S017：重復以上步驟S012到S016，直到達到預設迭代次數，停止訓練，保存MaskRCNN網絡。

3.根據權利要求2所述的基于MaskRCNN的視頻火災識別方法，其特征在于：所述步驟S02中具體為：使用目標MaskRCNN網絡對大量視頻數據和圖像數據進行檢測，裁剪出檢測到疑似煙霧和火焰目標，構建出包括煙霧、火焰、概率值3種類別的圖像分類數據集。

4.根據權利要求1所述的基于MaskRCNN的視頻火災識別方法，其特征在于：所述步驟S03具體為：使用ImageNet數據集上訓練好的EfficientNet分類網絡參數對EfficientNet網絡進行參數初始化，輸入圖像分類數據集，進行端到端的訓練，通過Adam優化算法對分類損失函數進行梯度計算，并更新EfficientNet網絡參數，完成設定輪訓練后，停止訓練，得到目標EfficientNet網絡。