[發明專利]一種面向工人違規使用手機的深度視覺手機檢測系統

有效

• 申請號: 202011338027.3
• 申請日: 2020-11-25
• 公開（公告）號: CN112435240B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 仝淑貞;田青;張華;魏煊
• 申請（專利權）人: 江蘇集萃未來城市應用技術研究所有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 南京科闊知識產權代理事務所(普通合伙) 32400
• 代理人: 蘇興建

1.一種面向工人違規使用手機的深度視覺手機檢測系統，其特征是包括網絡攝像頭、AI網絡攝像頭、算法服務器、集中集中管控服務器以及工地監控客戶端；

網絡攝像頭和AI網絡攝像頭都部署在工地現場；網絡攝像頭所拍攝的圖片傳入算法服務器進行檢測，并將檢測結果傳入集中管控服務器；AI網絡攝像頭直接將拍攝的圖片傳入集中管控服務器；

在監控客戶端上得到來自網絡攝像頭是實時檢測結果以及來AI網絡攝像頭的自違規的記錄情況；

所述算法服務器的檢測步驟包括：

1)獲取攝像機視頻信流，并截取單幀圖片；

2)對圖片進行HSV增強；

3)使用coco數據集訓練YOLOv5網絡；

設置參數：

設yolov5的損失函數為：

L＝L_conf+L_cla+L_loc

其中，L_conf為目標置信度損失，L_cla為目標類別損失，L_loc為目標定位損失；

4)用步驟3)訓練得到的YOLOv5神經網絡用來檢測人體：對輸入的待測圖像進行檢測，得到人體的檢測框；

5)用檢測框對輸入圖像進行裁剪，得到圖像中的人體部分；

6)構建Pose-estimation網絡；

將待輸入網絡的RGB圖像進行預處理為368×368×3的圖像；把處理后的圖形輸入Pose-estimation網絡；將圖像分為8×8像素的格子，每個格子計算人體的上半身9個部件的響應，并輸出最大響應部件作為相應位置的人體部件；

7)使用MPII Human Pose數據集訓練Pose-estimation網絡，損失函數為：

其中，T代表網絡的階段，P代表圖中的人，J代表檢測格子，代表第t個網絡階段的第p個人在第j個檢測格子的預測值，代表第t個網絡階段的第p個人在第j個檢測格子的真實值；

8)將YOLOv5神經網絡檢測出的人體輸入Pose-estimation網絡，輸出人體的手部ROI；

9)將手部ROI輸入到ResNet-50分類網絡，預測手部區域中是否含有手機，最終得到結果。

2.根據權利要求1所述的面向工人違規使用手機的深度視覺手機檢測系統，其特征是所述步驟2)中，為了增強圖像對比度，對圖像的HSV通道進行增強，其中H通道增強參數為0.014，S通道增強參數為0.68，V通道增強參數為0.36。

3.根據權利要求1所述的面向工人違規使用手機的深度視覺手機檢測系統，其特征是所述步驟3)中，網絡深度參數為0.67，網絡寬度參數為0.75，學習率learning_rate為0.01。

4.根據權利要求1所述的面向工人違規使用手機的深度視覺手機檢測系統，其特征是所述步驟6)中，將待輸入網絡的RGB圖像進行預處理為368×368×3圖像的方法為：先將圖片以最長邊與368的比值進行縮放，然后在短邊方向補0像素。

5.根據權利要求1所述的面向工人違規使用手機的深度視覺手機檢測系統，其特征是所述步驟6)中，368×368×3的輸入圖片經過卷積被分割成46×46個格子，每個格子預測10個分數，其中9個分數對應人體上半身9個部件的響應分數，最后一個分數對應背景的響應分數，則網絡輸出為46×46×10；將該處理擴充為4個階段，第2階段直接對輸入圖片做卷積，輸出46×46×10的結果，并將該結果與第1階段的輸出并接，再經過卷積模塊輸出第2階段的46×46×10的結果；

從第3階段開始，直接用上一階段的并接作為輸入，經過卷積后與上一階段的輸出結果并接，再經過卷積模塊輸出該階段的結果；

最終選取4個階段的網絡結構生成Pose-estimation網絡。