[發明專利]一種基于圖神經網絡的抽煙識別方法

在審

• 申請號: 202310028350.8
• 申請日: 2023-01-09
• 公開（公告）號: CN115880781A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 徐建民;毛維杰
• 申請（專利權）人: 浙江大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/40;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 萬尾甜;韓介梅

1.一種基于圖神經網絡的抽煙識別方法，其特征在于，包括如下：

S1.建立數據集：對監控圖片標注人體關鍵點和香煙框圖，若畫面中有人正在抽煙，將圖片標注為“抽煙”，為正樣本，若無人抽煙畫面中則標注為“無抽煙”，為負樣本；

S2.利用上述數據集在基于圖神經網絡的抽煙識別模型中進行訓練；

所述的抽煙識別模型包含骨架網絡、目標檢測子網絡、關鍵點特征提取網絡、圖卷積神經網絡；

所述骨架網絡選用ResNet50，接受輸入圖片I，第3,4,5個卷積層的特征圖C₃,C₄,C₅作為骨架網絡的輸出；

所述目標檢測子網絡選用RetinaNet網絡，包含FPN模塊、檢測框圖子網絡和檢測分類子網絡；FPN模塊接受C₃,C₄,C₅為輸入，檢測框圖子網絡和檢測分類子網絡以FPN的輸出為輸入，分別輸出圖片第i個香煙附屬物的框圖B_i和可見值v；若檢測到香煙，置v為1，反之為0；

所述關鍵點特征提取網絡選用KeyPointRCNN，與目標檢測子網絡共用骨架網絡，輸出為N*3的矩陣，包含人體的N個關鍵點的信息以及各個關鍵點的x,y,v；x,y代表坐標，v代表可見與否，若可見，置v為1，反之為0；

將獲取到的香煙附屬物的框圖B_i，計算得到其中心點，與關鍵點特征提取網絡的輸出合并為(N+1)*3的矩陣A，同時添加一個1維的向量標志物token表明圖中人是否有在抽煙，最后成為(N+2)*3的矩陣B；

所述圖卷積神經網絡以B為輸入，輸出為標志物token，若為0向量則表明無抽煙，若為1向量則表明有人抽煙。

2.根據權利要求1所述的基于圖神經網絡的抽煙識別方法，其特征在于，所述的人體關鍵點的設置為0:鼻子、1:左眼、2:右眼、3:左耳、4:右耳、5:左肩、6:右肩、7:左肘、8:右肘、9:左腕、10:右腕、11:左胯、12:右胯、13:左膝、14:右膝、15:左踝、16:右踝。

3.根據權利要求1所述的基于圖神經網絡的抽煙識別方法，其特征在于，所述抽煙識別模型的輸入I均統一到相同大小，并進行數據增強和歸一化處理。

4.根據權利要求1所述的基于圖神經網絡的抽煙識別方法，其特征在于，選用ImageNet預訓練模型作為初始模型，并采用公開數據集coco關鍵點數據集進行預訓練。

5.根據權利要求1所述的基于圖神經網絡的抽煙識別方法，其特征在于，構建數據集時的標注也為矩陣B的(N+2)*3格式，用于訓練圖卷積神經網絡，在進行預訓練之后，也可以采用網絡對負樣本實現自動標注，以節約標注成本和時間。