[發明專利]一種基于圖像識別的施工警戒區監測預警系統及方法

有效

• 申請號: 202011026889.2
• 申請日: 2020-09-25
• 公開（公告）號: CN112216049B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 劉偉;李春陽;李偉;陳磊;楊弘卿
• 申請（專利權）人: 交通運輸部公路科學研究所;劉偉
• 主分類號: G08B13/196
• 分類號: G08B13/196;G06V40/10;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 于國強

1.一種基于圖像識別的施工警戒區監測預警系統，包括設置在施工警戒區外側的多個攝像機、互聯網和終端設備，其特征在于，還包括圖像輸入模塊、圖像拼接模塊、交互標定模塊、行人檢測模塊、視覺入侵模塊、特征提取模塊和決策模塊，

所述圖像輸入模塊用于獲取公路工程施工警戒區周邊各個攝像機的同步視頻圖像，并將收集到的同步視頻圖像發送給所述圖像拼接模塊，所述圖像拼接模塊用于將多個同步視頻圖像拼接得到作業區域內的全景圖像；

所述交互標定模塊用于在全景圖像上進行交互標定預警觸發區域，同時激活所述視覺入侵模塊：

所述視覺入侵模塊激活后，獲取標定的預警觸發區域，實時觀測預警觸發區域內的視頻圖像信息，若所述預警觸發區域內有入侵信息向行人檢測模塊發出預警；

所述行人檢測模塊采用SSD檢測網絡，接收到所述視覺入侵模塊發來的預警后，對所述預警觸發區域內的入侵行人目標進行檢測，在每個攝像機位捕獲的視頻幀中快速的定位出行人的位置和人員數目，確定入侵行人位置信息；

所述特征提取模塊用于提取預警觸發區域中入侵行人的特征，并將提取到的特征信息傳遞給所述決策模塊，所述決策模塊將獲取得到的特征信息與系統中記載的作業人員特征信息進行對比，判斷是否需要發出警示信息；

決策模塊的主要功能是決策是否發出警示信息或是否需要錄入新出現的作業人員信息，除此之外決策模塊還會在重點時段，包括中午、傍晚或可能出現人員的時段，激活全部模塊，同時還會間隔的激活全部模塊，以防止視覺入侵模塊的漏報情況；

判斷是否需要發出警示信息具體為：決策模塊會對得到的區域內人員特征與已存的全部人員特征計算cos相似度距離，對于相似度小于預設閾值的情況不做出警示信息，對于大于預設閾值的情況發出預警，提醒該人員離開；同時當決策模塊發現監控區域內檢測得到的人員數目大于記錄人員數目，會直接觸發預警；

所述視覺入侵模塊的運行過程具體為：

首先所述視覺入侵模塊獲取實時視頻流，并對視頻數據流拆分得到單幀圖像，通過GetImMask函數獲取預警觸發區域；

然后對獲取得到的預警觸發區域分別進行越界檢測和區域檢測；

所述越界檢測在于檢測預警觸發區域邊界線的上/下/左/右是否存在人員入侵信號，若存在，則發出報警信號；若沒有，則重新獲取實時視頻流,再次獲取單幀圖像；

所述區域檢測是指預警觸發區域內部是否具有人員入侵信號，若存在，則發出報警信號；若沒有，則再次獲取單幀圖像，重復上述步驟；

所述視覺入侵模塊通過調用vibi函數實現視覺入侵檢測，具體包括：

1)通過設計GetImMask模塊獲取預警觸發區域，包括但不限于采用橫線、豎線、斜線、矩形框和不規則四邊形的監控區域；

2)通過vibe方法類及其成員函數，對預警觸發區域內的視頻數據實現資源初始化、動態背景建模、背景更新、實時前景獲取；

3)通過isOverLapWithBorder模塊，實現對與預警觸發區域邊界線或區域不鄰接的檢出框的濾除，去除誤檢；

4)通過dup_rect_eliminate模塊，消除檢測框繪制時重復出現或有重疊的檢測框；

所述圖像輸入模塊包括初始化狀態的輸入處理和運作狀態下的輸入處理；

所述初始化狀態的輸入處理是將各個攝像機的視頻圖像直接傳輸給圖像拼接模塊時，輸入模塊按照攝像機順序編號提取同一時刻不同機位的視頻幀，確保相鄰編號的視頻幀內容可拼接；

所述運作狀態下的輸入處理是指對于已經設定預警觸發區域后，將覆蓋預警觸發區域邊界的視頻幀實時傳入所述視覺入侵模塊；對于已經激活入侵響應的區域，將該區域的全部視頻幀直接傳入所述行人檢測模塊；

所述圖像拼接模塊包括視頻特征提取子模塊，視頻特征匹配子模塊和矩陣回歸子模塊，所述視頻特征提取子模塊采用高分辨率網絡提取相鄰兩個攝像機同一時刻輸入的視頻圖像特征；所述視頻匹配子模塊首先對提取得到的兩個視頻圖像特征進行L2標準化處理，然后對兩個標準化處理之后的視頻圖像特征進行特征匹配繼而得到相似性得分矩陣；所述矩陣回歸子模塊采用卷積神經網絡對相似性得分矩陣進行處理得到全局單應性矩陣，根據全局單應性矩陣，通過映射變化將圖像進行視覺對齊，完成兩張圖像拼接；

所述交互標定模塊用于通過用戶標定的4個頂點坐標，根據圖像拼接模塊計算得到的單應性矩陣映射到原始多個視頻幀中，將4個頂點連線所圍成的區域作為預警觸發區域，同時在標定過程完成后，程序會自動啟動行人檢測和特征提取模塊，記錄場內作業人員的特征信息；

所述特征提取模塊通過構建孿生神經網絡的方式訓練生成用于提取特征的卷積神經網絡，具體包括三元組數據構建、損失設計和人物特征提取網絡；

所述三元組數據構建用于構建作業人員特征的三元組數據訓練集，每組三元組數據包括一對“相似”圖像和一個“不相似”圖像，即將采集的同一個作業人員處于不同時刻不同攝像機位的圖像記為一類樣本a_i,將采集的其他作業人員的圖像記為一類樣本a_j,每次選擇數據構建三元組數據時，會在a_i內隨機抽取兩張圖像和在a_j中抽取一張圖像構建三元組，并計算cos相似度度量距離；

所述損失設計具體為：

選擇一組三元組訓練數據，包括從樣本a_i中抽取的正樣本圖片a和正樣本圖片p，從樣本a_j中抽取負樣本圖片n，計算三元組損失：

L_t＝(D(a,p)-D(a,n)+margin)₊

其中margin是邊界超參數，D(a,p)表示圖片a和圖片p之間的相似度距離，D(a,n)表示圖片a和圖片n之間的相似度距離；

所述人物特征提取網絡子模塊采用三分支輸入結構網絡，統一輸入樣本的尺寸大小，并對樣本數據進行類別劃分和樣本識別，獲取得到人物特征。