[發(fā)明專利]一種基于視覺的大場景下施工安全智能監(jiān)控系統(tǒng)方法

在審

• 申請?zhí)枺?/td>: 201910820415.6
• 申請日: 2019-09-01
• 公開（公告）號: CN110602449A
• 公開（公告）日: 2019-12-20
• 發(fā)明（設(shè)計）人: 崔博;鐘登華;曾拓程;任炳昱;關(guān)濤
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06N3/08;G06N20/00
• 代理公司: 12201 天津市北洋有限責(zé)任專利代理事務(wù)所
• 代理人: 程小艷

1.一種基于視覺的大場景下施工安全智能監(jiān)控系統(tǒng)方法，其特征在于，包括如下步驟：

(1)、通過在大場景下施工現(xiàn)場上方的四周架設(shè)若干攝像頭(或工業(yè)相機)，使得所有攝像頭(或工業(yè)相機)畫面覆蓋住施工現(xiàn)場全景且相鄰攝像頭存在部分重疊區(qū)域；

(2)、建立并制作施工現(xiàn)場多類別，大小差異較大的各目標(biāo)圖像數(shù)據(jù)集；

(3)、實施并采集施工現(xiàn)場每個攝像頭的圖像-世界坐標(biāo)轉(zhuǎn)換數(shù)據(jù)集；

(4)、借助機器學(xué)習(xí)模型，建立圖像坐標(biāo)與真實世界坐標(biāo)關(guān)系模型；

(5)、采用滿足實時要求的目標(biāo)檢測和跟蹤方法,并在所有監(jiān)控畫面識別的目標(biāo)由坐標(biāo)轉(zhuǎn)換后進行目標(biāo)匹配融合編號，持續(xù)跟蹤；

(6)、建立不同類別機械的不同行駛速度的安全運行預(yù)警規(guī)則，當(dāng)出現(xiàn)危險時實時反饋預(yù)警信息給對應(yīng)的司機和后臺監(jiān)控管理者。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(1)具體為：

通過在大型施工場景上方四周布設(shè)的多個攝像頭覆蓋住施工現(xiàn)場全景，要保證施工機械目標(biāo)在從一個攝像頭畫面出入另一個攝像頭畫面的階段能夠同時被這兩個相鄰的攝像頭畫面所觀察到；同時保證某一目標(biāo)在此畫面內(nèi)被其他目標(biāo)遮擋時(未形成全角度遮擋情況下)可以由其他角度監(jiān)控的攝像頭畫面所觀測到。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(3)具體為：

(1)、正式監(jiān)控之前，可以在一輛車上安裝GPS設(shè)備，通過在施工場區(qū)內(nèi)自由行駛，使得每個攝像頭都能捕捉到當(dāng)前畫面內(nèi)超過一定數(shù)量的該車的天線位置；

(2)、提取每個時刻每個攝像頭畫面內(nèi)的天線位置的圖像坐標(biāo)與相對應(yīng)的GPS坐標(biāo)，制作每個攝像頭的圖像-世界坐標(biāo)轉(zhuǎn)換數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(4)具體為：

由權(quán)利要求1所述的方法的步驟(3)制作的每個攝像頭的圖像-世界坐標(biāo)的數(shù)據(jù)集分成訓(xùn)練集和測試集，通過訓(xùn)練集訓(xùn)練一個回歸器。通過對比校核測試集的計算精度，從支持向量機，神經(jīng)網(wǎng)絡(luò)或者隨機森林等模型中選用測試誤差最小的機器學(xué)習(xí)算法構(gòu)造回歸器，建立從圖像坐標(biāo)到真實世界坐標(biāo)的關(guān)系模型。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(5)具體為：

(1)由權(quán)利要求1所述的方法的步驟(2)制作的目標(biāo)檢測數(shù)據(jù)集訓(xùn)練好目標(biāo)檢測深度神經(jīng)網(wǎng)絡(luò)

(2)檢測過程：輸入測試樣本(視頻幀或圖像)；

(3)檢測過程：通過YOLOv3網(wǎng)絡(luò)對第一幀(圖片)存在的目標(biāo)進行檢測；

(4)跟蹤過程：對第一幀(圖片)檢測出來的每個目標(biāo)初始化一個KCF跟蹤器，KCF算法入?yún)⑦x用HOG特征和固定窗口；

(5)跟蹤過程：對當(dāng)前幀的每個攝像頭的跟蹤目標(biāo)圖像坐標(biāo)由坐標(biāo)轉(zhuǎn)換模型計算真實世界坐標(biāo)，并對所有攝像頭畫面內(nèi)的跟蹤目標(biāo)由真實世界坐標(biāo)進行目標(biāo)匹配融合編號，統(tǒng)一保存每個目標(biāo)信息(目標(biāo)編號信息，位置信息，速度信息等)至數(shù)據(jù)庫；

(6)對第一幀之后每幀(圖片)一方面重復(fù)檢測過程，另一方面同步繼續(xù)已存在目標(biāo)的跟蹤過程。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述步驟(1)具體為：

(1)使用預(yù)先在Imagenet數(shù)據(jù)集上訓(xùn)練好的權(quán)重文件(darknet53.conv.74)初始化網(wǎng)絡(luò)特征提取層權(quán)重；

(2)使用在自己制作數(shù)據(jù)集上K-means聚類出來的候選框大小初始化網(wǎng)絡(luò)9個bounding-box參數(shù)；

(3)根據(jù)入?yún)⒌螖?shù)進行訓(xùn)練，觀察loss函數(shù)變化，調(diào)整batch、學(xué)習(xí)率和迭代次數(shù)等入?yún)⑷≈?，反?fù)訓(xùn)練至網(wǎng)絡(luò)具有較好的泛化性能。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述步驟(6)具體為：

(1)當(dāng)某攝像頭畫面內(nèi)的跟蹤器目標(biāo)被遮擋或者出畫時，此目標(biāo)的跟蹤由其他角度的攝像頭來彌補；

(2)當(dāng)某攝像頭畫面內(nèi)的目標(biāo)檢測的個數(shù)增多時，初始化增加目標(biāo)的KCF跟蹤器；

(3)新初始化的跟蹤器和當(dāng)前時刻數(shù)據(jù)庫的跟蹤器位置進行比對，位置一致的使用相應(yīng)的跟蹤目標(biāo)編號，反之則判斷新增目標(biāo)是新加入施工場景中的設(shè)備，對應(yīng)增加此類別的目標(biāo)編號。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(6)具體為：

根據(jù)目標(biāo)的機械類別和行駛速度范圍劃定安全感知區(qū)域，若該區(qū)域存在其他目標(biāo)，則對相應(yīng)兩個目標(biāo)進行安全預(yù)警反饋，包括在監(jiān)控畫面上顯示警告提示和發(fā)送信息提醒司機。

感知區(qū)域以每類機械目標(biāo)中心為始邊中點，向速度方向定義一矩形區(qū)域，其中矩形寬為該類機械設(shè)備的1.5倍寬度，長度根據(jù)行駛速度分為三個等級。其中針對挖掘機，由于此機械的旋轉(zhuǎn)施工的特殊性，增加感知其四周區(qū)域，根據(jù)其臂展確定感知半徑，建立安全感知圓形區(qū)域。

預(yù)警提醒通過判斷其他目標(biāo)中心是否出現(xiàn)在相應(yīng)目標(biāo)感知區(qū)域內(nèi)，若存在則對感知與被感知到的目標(biāo)的識別框在視頻中顯示半透明紅色以示警告，同時彈窗該目標(biāo)安全運行預(yù)警提醒，并將信息傳至操作手(司機)。