[發(fā)明專利]一種基于視覺的大場景下施工安全智能監(jiān)控系統(tǒng)方法

在審

• 申請?zhí)枺?/td>: 201910820415.6
• 申請日: 2019-09-01
• 公開（公告）號: CN110602449A
• 公開（公告）日: 2019-12-20
• 發(fā)明（設計）人: 崔博;鐘登華;曾拓程;任炳昱;關濤
• 申請（專利權）人: 天津大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06N3/08;G06N20/00
• 代理公司: 12201 天津市北洋有限責任專利代理事務所
• 代理人: 程小艷

本發(fā)明公開一種基于視覺的大場景下施工安全智能監(jiān)控系統(tǒng)方法,主要包括如下步驟：通過在大場景下施工現(xiàn)場上方的四周架設若干攝像頭，使得所有攝像頭畫面覆蓋住施工現(xiàn)場全景且相鄰攝像頭存在部分重疊區(qū)域；建立并制作施工現(xiàn)場多類別，大小差異較大的各目標圖像數(shù)據(jù)集；實施并采集施工現(xiàn)場每個攝像頭的圖像?世界坐標轉換數(shù)據(jù)集；借助機器學習模型，建立圖像坐標與真實世界坐標關系模型；采用滿足實時要求的目標檢測和跟蹤方法,并在所有監(jiān)控畫面識別的目標由坐標轉換后進行目標匹配融合編號，持續(xù)跟蹤；建立不同類別機械的不同行駛速度的安全運行預警規(guī)則，當出現(xiàn)危險時實時反饋預警信息給對應的司機和后臺監(jiān)控管理者。

技術領域

本發(fā)明屬于計算機視覺與大場景施工現(xiàn)場安全監(jiān)控分析交叉領域,涉及一種基于視覺的大場景下施工安全智能監(jiān)控系統(tǒng)方法，具體涉及通過在大場景的施工現(xiàn)場上方架立多個攝像頭實時采集全范圍的施工現(xiàn)場視頻，制作現(xiàn)場施工機械與人員的圖像數(shù)據(jù)集，使用視覺檢測，跟蹤，圖像-世界坐標轉換，和安全規(guī)則制定方法來對壩面的施工機械和人員進行安全狀態(tài)智能判斷和預警的方法。

背景技術

在大壩等大場景施工范圍的工程建設中，現(xiàn)場施工安全是首先需要保證的。這涉及到現(xiàn)場機械的行駛安全和人員的生命安全。這就要求對現(xiàn)場的各施工機械和人員有一個有效的感知手段，能夠實時確定他們當前的位置，速度和行為。傳統(tǒng)方法如GPS，RFID，UWB等都需要對需要監(jiān)控的機械或人員安裝相應的傳感器，且通常經(jīng)濟成本較高，難以對大場景施工范圍下的數(shù)量眾多的監(jiān)控對象進行有效的大規(guī)模感知。而視頻監(jiān)控的方式相比于以上感知方法能夠有效克服以上不足，適合廉價且大規(guī)模地實時感知大場景下存在的監(jiān)控對象。

如今，隨著圖像識別，機器視覺和計算機視覺等技術的發(fā)展，越來越多的視覺方法在不同條件下應用至施工現(xiàn)場的視頻監(jiān)控中。顧國華等(2015)公開了一種采用多臺攝像機進行運動目標跟蹤的方法，以粒子濾波器為核心算法，通過對多臺攝像機多視角畫面的采集分析處理克服了存在遮擋情況導致的跟蹤失敗問題。林躍歡等(2018)公開了一種視頻監(jiān)控實時監(jiān)測違章作業(yè)的方法，通過收集制作施工人員現(xiàn)場施工圖片,建立以Faster R-CNN為核心算法的違章行為檢測識別模型,并將違章行為檢測識別模型應用在施工現(xiàn)場攝像頭并進行監(jiān)測。Yang J等(2010)提出了使用攝像機跟蹤建筑工地現(xiàn)場的多名工人，基于核協(xié)方差的機器學習方法，通過跟蹤目標樣本模板并學習可應用于具有相似幾何形狀的其他目標的通用模型。Brilakis I等(2011)提出了一種基于視覺的跟蹤框架，使用一組兩個或更多的靜態(tài)相機在建筑工地上采集的視頻圖像，在每個攝像機視圖中，通過模板匹配目標特征的方法識別區(qū)分目標，利用對極幾何理論對不同視圖的目標進行匹配，進而基于核的方法跟蹤每個目標，獲得2D坐標，通過兩個攝像機的三角測量獲得真實的3D坐標。Gong J等(2011)提出了利用Bag-of-Video-Feature-Words模型和貝葉斯模型識別檢測視頻片段中工人和挖掘機設備的行為。Park M W等(2012)提出了利用背景減法、HOG和HSV顏色直方圖方法檢測視頻幀中的建筑工人用于初始化跟蹤。Memarzadeh M等(2013)提出了基于滑動窗口的HOG+C特征提取方法和SVM分類器一起對視頻流中的工人，卡車，挖掘機目標區(qū)域進行檢測識別。Zhu Z等(2016)提出先借助多個攝像機由三角測量獲得由視覺檢測和跟蹤得到各監(jiān)控對象的真實坐標，然后應用新型的卡爾曼濾波器預測施工現(xiàn)場工人和移動設備的運動以防止其在未來位置上可能發(fā)生的碰撞。Yang J等(2016)提出了使用密集軌跡的視頻描述方法對多種特征描述符進行比較，結合SVM實現(xiàn)工人行為活動的識別檢測。Park M W等(2016)提出了混合視覺檢測和跟蹤的方法用于持續(xù)定位視頻中的建筑工人，其中通過HOG+SVM和HSV+KNN方法實現(xiàn)人員的目標檢測，通過粒子濾波方法實現(xiàn)跟蹤。Golovina O等(2016)提出了使用GPS技術采集到的施工設備與人員的信息，定義了相應設備不同運行條件下的危險程度。Kim H等(2016)提出了基于數(shù)據(jù)驅動的標簽傳遞方法識別和分割施工場景內(nèi)的不同目標。Zhu Z等(2017)提出了施工現(xiàn)場設備和人員的檢測與跟蹤框架，通過HOG+SVM實現(xiàn)目標檢測，基于粒子濾波實現(xiàn)目標跟蹤，尚不能實時處理視頻。Yu Y等(2017)提出了使用Kinect對一些建筑工人的不安全行為進行實時識別的實驗研究。Fang Q等(2018a)提出通過深度學習的Faster R-CNN網(wǎng)絡來從遠景的監(jiān)控視頻中檢測現(xiàn)場人員的安全帽佩戴情況。Fang Q等(2018b)提出了基于Faster R-CNN的目標檢測方法和基于sort的多目標跟蹤方法實現(xiàn)施工人員的人臉檢測和跟蹤，提取面部信息和人力資源的身份信息進行比對判斷該工人是否在從事其職業(yè)工作。Fang Q等(2018c)提出了基于SSD的目標檢測方法和基于sort的多目標跟蹤方法實現(xiàn)在窗戶邊工作的人員安全帽，保護帶，錨具等識別和跟蹤，對處在高空工作的人員進行安全狀態(tài)評估。Ding L等(2018)提出了基于深度學習CNN和LSTM網(wǎng)絡的方法對4種攀爬梯子的不安全行為進行檢測和分類。Fang W等(2018)提出了基于Faster R-CNN的施工現(xiàn)場挖掘機和工人的目標檢測方法。Kolar Z等(2018)提出了基于vgg-16的卷積神經(jīng)網(wǎng)絡的安全護欄檢測方法。Luo H等(2018)提出了基于RGB圖像，光流圖像，灰度圖像的三流卷積神經(jīng)網(wǎng)絡實現(xiàn)工人行為活動的識別檢測。