[發明專利]抽煙及使用手機行為檢測裝置及方法

在審

• 申請號: 202110525138.3
• 申請日: 2021-05-13
• 公開（公告）號: CN113392706A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 張昭智;張子恒;方立緯
• 申請（專利權）人: 上海湃道智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.抽煙及使用手機行為檢測裝置，包括：

攝像頭用于獲得工作現場的人體圖像；

網絡用于傳輸圖像到遠端服務器；

人體姿態檢測器基于預訓練好的yolov3-SPP算法識別出人體圖像，并將人體圖像送進訓練好的關鍵點檢測網絡進行處理；

分類器根據關鍵點檢測網絡將圖像根據手部和頭部距離進行分類，識別出抽煙或使用手機的圖像。

2.如權利要求1所述的抽煙及使用手機行為檢測裝置，其特征在于所述的人體姿態檢測器將檢測到的圖像尺寸改變為256*192像素。

3.如權利要求1所述的抽煙及使用手機行為檢測裝置，其特征在于所述的關鍵點檢測模型是基于MSCOCO2017關鍵點數據訓練好的網絡。

4.如權利要求1所述的抽煙及使用手機行為檢測裝置，其特征在于所述的關鍵點檢測網絡是主干網ResNet50。

5.如權利要求1所述的抽煙及使用手機行為檢測裝置，其特征在于所述的分類器是基于中輕量級模型ResNest50。

6.如權利要求1所述的抽煙及使用手機行為檢測裝置，其特征在于所述的分類器是基于中輕量級模型EfficientNetB4。

7.如權利要求1所述的抽煙及使用手機行為檢測裝置，其特征在于所述的分類器將數據切分為三個類別：1.正常類2.吸煙3.使用手機；上述三種場景的數據占比分別約0.6，0.2，0.2。

8.如權利要求1所述的抽煙及使用手機行為檢測裝置，其特征在于所述的分類器的正常類、吸煙和使用手機三個類別的數據皆為頭部或者手部數據，原圖分辨率不低于60*60像素。

9.如權利要求1所述的抽煙及使用手機行為檢測裝置，其特征在于所述的分類器可以是檢測器，不僅能分類出圖像中目標為香煙或者手機，同時還能將位置找到。

10.抽煙及使用手機行為檢測方法，其特征在于包括以下步驟：

攝像頭采集到的圖像A首先以數字圖像格式進入人體姿態檢測器，先經由人體姿態檢測器進行檢測，得到人在圖像上的坐標信息，依照坐標信息將圖像裁剪出來用圖像B表示；

圖像B接著進入關鍵點檢測模型檢測，關鍵點檢測模型基于MSCOCO數據選取頭部、右手、左手三個部位的關鍵點；

計算三個部位關鍵點彼此的距離來判別是否正在進行違規行為，邏輯為手部距離頭部較近表示可能為抽煙或者使用手機，而雙手距離較近表示也有可能在玩手機，因此可以計算三個距離：

RH：右手到頭部距離

LH：左手到頭部距離

RL：雙手之間的距離

將上述RH，LH，RL透過閾值篩選出距離較短的視為潛在可能違規行為的目標，然后裁剪頭部或者手部的區域圖像送入分類器進行判別；

裁剪出的圖像，送入預先訓練好的分類器進行識別，即可判別出抽煙或使用手機的圖像。

11.如權利要求10所述的抽煙及使用手機行為檢測方法，其特征在于所述的人體姿態檢測器基于預訓練好的yolov3-SPP算法將檢測到的人圖像尺寸改變為256*192像素。

12.如權利要求10所述的抽煙及使用手機行為檢測方法，其特征在于所述的關鍵點檢測模型是基于MSCOCO2017關鍵點數據訓練好的網絡。

13.如權利要求10所述的抽煙及使用手機行為檢測裝置，其特征在于所述的關鍵點檢測模型是主干網ResNet50。

14.如權利要求10所述的抽煙及使用手機行為檢測方法，其特征在于所述的分類器是基于中輕量級模型ResNest50。