[發明專利]基于機器視覺的智慧工地安全監測系統及方法

在審

• 申請號: 202210285817.2
• 申請日: 2022-03-23
• 公開（公告）號: CN114677640A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 陳俊風;毛矛;謝志浩;呂嘉
• 申請（專利權）人: 河海大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/82;G06N3/04;G06N3/08;G16Y10/30;G16Y40/10;G16Y40/50
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李淑靜

1.一種基于機器視覺的智慧工地安全監測系統，其特征在于，包括：工地數據收集系統和安全行為監測系統，所述工地數據收集系統利用視頻捕獲設備采集工地視頻數據；所述安全行為監測系統基于輸入的視頻數據執行工地安全識別算法，識別出潛在危險；所述安全行為監測系統包括：目標檢測模塊，通過目標檢測算法對輸入的每幀圖像數據提取特征并確定目標的檢測框位置；目標跟蹤模塊，通過目標跟蹤算法對檢測框的目標進行實時跟蹤，確定軌跡狀態；以及安全檢測模塊，在確定目標為施工工人的情況下，基于目標檢測算法和目標跟蹤算法對工人進行實時行為分析，判斷工人是否存在違規行為，并基于工人存在違規行為的判斷進行告警，其中違規行為包括未佩戴安全帽和跌倒中的一種或多種情況，以及在確定目標為煙火的情況下，直接進行告警。

2.根據權利要求1所述的基于機器視覺的智慧工地安全監測系統，其特征在于，目標檢測模塊包括：目標檢測單元，使用改進網絡結構的YOLOv3目標檢測算法對輸入的每幀圖像提取特征并且得到目標的檢測框位置；以及篩選單元，利用深度融合NMS算法對目標檢測單元給出的檢測框進行篩選，去除重疊的檢測框。

3.根據權利要求2所述的基于機器視覺的智慧工地安全監測系統，其特征在于，所述目標檢測單元中改進的YOLOv3網絡結構引入隨機池化來對原主干網絡Darknet-53進行下采樣操作，所述隨機池化過程包括：將原Yolov3主網絡Darknet-53中負責下采樣的卷積層替換為一個步長為1的卷積層和一個隨機池化層，步長為1的卷積層負責改變輸出維度，隨機池化層負責下采樣。

4.根據權利要求2所述的基于機器視覺的智慧工地安全監測系統，其特征在于，所述篩選單元包括：

集合建立單元，建立檢測框集合M，檢測框置信度集合S，檢測框中心像素的深度值集合D，最終選取的檢測框集合R，并設置交并比閾值T，誤差深度閾值a；

排序選擇單元，以集合S基于分數從高到低將檢測框排序，將S最大的檢測框從集合M中移動到集合R中，并將M中的刪除；

交并比比較單元，計算集合M中剩余的檢測框與上一步被選中的檢測框的交并比值，判斷兩個重疊的檢測框的交并比值U與交并比閾值T之間的大小關系；如果UT，則保留檢測框；如果U≥T，則比較兩個檢測框中心像素的深度值，判斷兩個檢測框中心像素的深度值之差的絕對值d與深度閾值a之間的大小關系；如果d≥a，則保留檢測框；如果da，則根據式(1)分別計算兩個檢測框的像素的平均深度，根據式(2)分別計算兩個檢測框融合后的深度置信度：

其中，是第i個檢測框中像素的平均深度，M_i和N_i分別是第i個檢測框的寬度和高度，是檢測框的像素灰度值之和，Ωp代表檢測框像素點的集合，Dj是第j個像素點的灰度值，C_i為第i個檢測框最終的置信度結果，S_i是第i個檢測框的得分；

檢測框確定單元，比較融合后的深度置信度C，得分較高者被視為最佳檢測框，并僅保留最佳檢測框在集合R中；

循環控制單元，重復排序選擇單元、交并比比較單元、檢測框確定單元的操作直到集合M中檢測框個數為0，輸出集合R，結束循環。

5.根據權利要求1所述的基于機器視覺的智慧工地安全監測系統，其特征在于，所述目標跟蹤模塊包括軌跡預測單元、初次匹配單元，所述軌跡預測單元通過卡爾曼濾波算法預測目標在當前幀圖像中的位置，對于算法預測結果與目標實際檢測結果之間的匹配，算法跟蹤預測結果當作一個預測軌跡，當在指定數量幀中算法預測檢測結果和實際檢測結果中的目標都能正確聯系時，軌跡為確認軌跡；所述初次匹配單元對于確認軌跡直接進行級聯匹配，當出現遮擋時，所述初次匹配單元通過使用余弦距離獲取的目標外觀特征以及使用交并比思想獲取的運動信息得到指標結果。