[發明專利]一種基于圖神經網絡的抽煙識別方法

在審

• 申請號: 202310028350.8
• 申請日: 2023-01-09
• 公開（公告）號: CN115880781A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 徐建民;毛維杰
• 申請（專利權）人: 浙江大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/40;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 萬尾甜;韓介梅

本發明公開了一種基于圖神經網絡的抽煙識別方法，構建了一種可以自動識別正在抽煙的人的深度學習框架，通過監控攝像頭獲取人體框圖，通過卷積神經網絡獲取人體動作關鍵點特征以及香煙附屬物特征。通過圖神經網絡對這兩種特征進行建模和解析。對比普通的目標檢測算法，本發明能夠在減少因只檢測到香煙而產生的誤報，和由于遮擋香煙產生的漏報；且相對于屬性分類算法，在新場景下擁有更強的魯棒性和泛化能力。

技術領域

本發明屬于圖神經網絡深度學習技術領域，涉及一種基于圖神經網絡的抽煙識別方法。

背景技術

抽煙不僅有害身體健康，且一直是室內火災的主要原因。隨著深度學習的發展，出現了以深度學習技術為基礎的自動抽煙識別算法。近年來一些有代表性的工作有：

1.CN201910082457.4基于深度學習的抽煙檢測分析系統。該發明以視頻流為輸入，通過多尺度卷積融合機制對畫面中的香煙、車牌、車窗等物體進行目標檢測。但是應用場景單一，僅適用于卡口等監控場景檢測是否有駕駛員抽煙行為。沒有考慮到動作特征以及存在遮擋目標的情況。

2.CN202111511659.X一種安全帽佩戴與抽煙檢測的安全監控方法。該發明以圖片為輸入，在電力廠房場景下，通過OpenPose算法獲取人體關鍵點特征，通過yolov5獲取附屬物特征。雖然使用了人體關鍵點信息，但對于關鍵點的特征處理過于簡單、僅停留在空間關系的先驗處理上，例如若手部附近有香煙就將其判斷為抽煙，但沒用考慮到抽煙整體動作。在實際使用中還需要合理設置閾值等超參數，應用較為繁瑣、泛化性不強。且采用了兩種特征提取算法，每次都需要單獨訓練，也造成了硬件資源的浪費。

3.CN202110795174.1一種基于多模型的駕駛員抽煙檢測方法。該發明將駕駛員抽煙檢測區域圖像輸入至抽煙手勢識別模型和香煙區域識別模型。獲取抽煙手勢識別的概率圖和香煙識別的概率圖；對抽煙手勢識別的概率圖和香煙識別的概率圖的結果進行分析，當同時識別到抽煙手勢以及香煙時，則檢測出駕駛員在抽煙。通過實例分割模型獲取香煙特征，但本方法的應用場景過于理想，對于手勢、香煙這種過于小和精細的目標，在實際場景中存在遮擋、模糊、光照不足的情況下效果會很不理想。采用實例分割也使得該發明的樣本數據標注成本過高，如果有新場景新需求的加入，會消耗大量標注時間和人力成本。且采用了多模型的方案，無法實現端到端訓練和測試。

為了解決上述問題，本發明采用了圖神經網絡這一結構，對獲取的關鍵點特征和香煙附屬物特征進行更深層的建模和學習，使得算法能夠學習到更為本質的抽煙特征，極大減少了誤報和漏報，在新場景下也可以迅速投入使用且保障了算法精度。且本發明所采用的特征提取模型共有同一個算法骨架，這一設置減少了模型參數量、提升了算法運行速度，且能夠實現端到端訓練和檢測。

發明內容

為實現更有效的抽煙識別，本發明提供一種基于圖神經網絡的抽煙識別方法，該方法中采用了統一的特征提取網絡，并采用圖神經網絡這一結構以學習更本質的抽煙特征。

本發明采用技術方案如下：

一種基于圖神經網絡的抽煙識別方法，包括：

S1.建立數據集：在需要設置該算法的場所設置監控攝像頭，以監控攝像頭的畫面為輸入，每隔若干幀抽取一張圖片，標注人體關鍵點和香煙框圖。若畫面中有人正在抽煙，將圖片標注為“抽煙”，下文稱之為“正樣本”，若無人抽煙畫面中則標注為“無抽煙”，下文稱之為“負樣本”。

S2.利用上述數據集在基于圖神經網絡的抽煙識別模型中進行訓練

所述的抽煙識別模型包含骨架網絡、目標檢測子網絡、關鍵點特征提取網絡、圖卷積神經網絡。

所述骨架網絡選用ResNet50，接受輸入圖片I，第3,4,5個卷積層的特征圖C₃,C₄,C₅,作為骨架網絡的輸出；