[發明專利]一種實時吸煙打電話識別方法

有效

• 申請號: 202110207092.0
• 申請日: 2021-02-24
• 公開（公告）號: CN112818913B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 張全;趙磊;彭博;周文俊;張偉;涂然
• 申請（專利權）人: 西南石油大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/52;G06V10/762;G06V10/774;G06V10/80
• 代理公司: 北京中索知識產權代理有限公司 11640
• 代理人: 唐亭

1.一種實時吸煙打電話識別方法，其特征在于，包括以下步驟：

S1：建立實時吸煙打電話識別模型，具體包括以下子步驟：

S11：采集吸煙打電話圖片數據獲得數據集，對所述數據集中的對象進行標注，并將所述數據集分為訓練集、驗證集和測試集，所述對象包括行人、手機、香煙；

S12：建立改進YOLOV3模型，具體包括以下子步驟：

S121：以Se-Res2Block作為基礎模塊構建輕量級主干網絡，所述輕量級主干網絡包括依次相連的兩個步長為2的3×3卷積，一個瓶頸層，三個Se-Res2Block模塊，卷積核數量為36，一個瓶頸層，三個Se-Res2Block模塊，卷積核數量為72，一個瓶頸層，三個Se-Res2Block模塊，卷積核數量為144；

S122：在所述輕量級主干網絡后引入SPP模塊，并調整輸入圖像的分辨率；在所述輕量級主干網絡后引入SPP模塊具體為：通過步長為1，大小為5×5、9×9、13×13的三個最大池化核，對上一層輸出進行下采樣，并將三個下采樣輸出和上一層輸出通過拼接的方式實現多特征的融合，得到不同大小的感受野；

S123：增加ASFF模塊，得到所述改進YOLOV3模型；

S13：將所述訓練集中的數據通過kmeans聚類算法生成anchors，需要生成的anchor數量為9；

S14：將訓練集和驗證集的數據作為改進YOLOV3模型的輸入，訓練和驗證所述改進YOLOV3模型；

S15：將測試集的數據作為所述改進YOLOV3模型的輸入，測試所述改進YOLOV3模型的準確性；當準確性達到目標閾值時，得到所述實時吸煙打電話識別模型；

S2：根據目標場景的監控視頻，利用多目標追蹤算法定位人行區域；

S3：根據所述實時吸煙打電話識別模型，對所述人行區域進行吸煙打電話實時識別，以同一個行人連續5幀的瞬時判斷相加結果確定該行人的吸煙打電話實時識別結果；

對所述人行區域進行吸煙打電話實時識別時：當所述實時吸煙打電話識別模型的置信度閾值大于0.5時，認為檢測出正確的香煙或手機，此時進行吸煙、打電話判斷，具體判斷方法如下：

確定行人頭部區域；

如果檢測結果為手機，并且手機區域和行人頭部區域的IOU值大于0.08，則認為存在打電話行為；

如果檢測結果為香煙，并且香煙區域和行人頭部區域的IOU值大于0，則認為存在吸煙行為；

記錄每一個行人每幀的判斷結果，如果當前幀中的判斷結果為存在吸煙或者打電話行為，則用1乘以0.2，如果正常則用1乘以0，得到當前幀的瞬時判斷結果；

將同一個行人在連續5幀中的瞬時判斷結果相加，若計算結果大于0.5，則認為這一段時間內該行人存在吸煙或打電話行為，反之則正常。

2.根據權利要求1所述的實時吸煙打電話識別方法，其特征在于，步驟S11中，對數據集中的對象進行標注時，采用yolomark進行標注。

3.根據權利要求1所述的實時吸煙打電話識別方法，其特征在于，步驟S121中，所述Se-Res2Block模塊由Res2Bolck模塊和通道注意力機制兩部分組成，且所述通道注意力機制設置在所述Res2Block模塊后。

4.根據權利要求1所述的實時吸煙打電話識別方法，其特征在于，步驟S123具體為：在YOLOV3的基礎上增加ASFF的融合方式，所述YOLOV3為三個尺度的輸出，ASFF為每一個尺度的特征層設計一個權重參數，并且三個權重參數的和為1，融合時通過上采樣或者下采樣將不同尺度特征層調整為相同大小，每一個特征層分別乘以各自的權重參數作為輸出。

5.根據權利要求1所述的實時吸煙打電話識別方法，其特征在于，步驟S14中，訓練所述改進YOLOV3模型時，對訓練集中的數據進行數據增強，具體通過改變數據集圖片的角度、對比度以及亮度中的一種或多種進行數據增強。

6.根據權利要求1所述的實時吸煙打電話識別方法，其特征在于，步驟S2中，定位所述人行區域時，采用deepsort多目標追蹤算法進行定位。