[發明專利]一種跨越圍欄行為識別系統及方法

在審

• 申請號: 202111360090.1
• 申請日: 2021-11-17
• 公開（公告）號: CN114140874A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 周秋宇;戴寧
• 申請（專利權）人: 南京康尼環網開關設備有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06V10/764;G06N3/04;G08B21/00
• 代理公司: 南京中軟知識產權代理事務所(特殊普通合伙) 32466
• 代理人: 鄭燕飛

1.一種跨越圍欄行為識別系統及方法，其特征在于：包括前端信息采集抓拍系統(1)、網絡傳輸系統(2)、后端平臺系統(3)、違章行為識別模塊(4)、違章行為導入模塊(5)和違章行為上傳模塊(6)；所述前端信息采集抓拍系統(1)內的違章行為識別模塊(4)包括有攝像機和工控機；所述攝像機對人員進行綜合信息的采集，并將采集的信息進行圖片信息識別和數據緩存后，再通過網絡發送到所述網絡傳輸系統(2)內的所述違章行為導入模塊(5)；所述違章行為導入模塊(5)包括有傳感器、A/D轉換器、處理器、信號放大器和信號發射器；所述違章行為導入模塊(5)通過所述傳感器和攝像機將所采集的信號轉化為無線信號，再通過所述A/D轉換器將聲、光、溫度和頭像轉化為數字信號，最后通過所述處理器、信號放大器和信號發射器將數字信號輸入到違章行為上傳模塊(6)；所述違章行為上傳模塊(6)通過網絡將轉化后的所述數字信號發送到后端平臺系統(3)。

2.根據權利要求1所述的一種跨越圍欄行為識別系統及方法，其特征在于：所述攝像機對人員進行綜合信息的采集具體包括：人員動作狀態特征、過往人像面部特征信息。

3.根據權利要求1所述的一種跨越圍欄行為識別系統及方法，其特征在于：所述后端平臺系統(3)包括有違章行為報警模塊(7)和違章行為處理模塊(8)；所述違章行為報警模塊(7)在后臺系統內對所述攝像機采集到的作業人員跨越圍欄違章行為進行報警提醒，同時后臺工作人員會在系統主界面收到違章行為記錄提醒；所述違章行為處理模塊(8)是對現場發現的跨越圍欄行為提出管控措施，并將違章行為整改措施通過網絡下達至相關生產作業現場。

4.根據權利要求1所述的一種跨越圍欄行為識別系統及方法，其特征在于：所述后端平臺系統(3)包括：視頻存儲服務器、數據庫服務器、管理服務器、應用服務器、Web服務器和時鐘服務器；圖片通過所述視頻存儲服務器進行集中存儲；所述數據庫服務器安裝數據庫軟件保存系統各類數據信息；管理服務器負責系統綜合管理；應用服務器負責數據處理、布控、比對和輸出報文；Web服務器安裝Web Server負責向B/S用戶提供訪問服務；時鐘服務器安裝GPS和NTP校時軟件負責全網設備統一校時。

5.根據權利要求1所述的一種跨越圍欄行為識別系統及方法，其特征在于，具體包括如下步驟：

步驟S1：首先所述違章行為識別模塊(4)基于多目標跟蹤算法(deep Sort)對連續視頻幀中的物體進行識別，且對不同的物體分配一個ID，選取一段時間內ID不變的物體進行場景圖生成，將包含工作人員和圍欄的圖片利用Graph R-CNN模型生成場景圖(Scenegraph)，生成后的場景圖包括物體區域、物體關系及其標簽；

步驟S2：然后采用對象檢測模型(Faster RCNN)建立目標區域模型P(V|I)，以生成候選區域；將視頻中包含人和圍欄的連續10幀圖片送入網絡中生成特征圖，然后通過區域生成網絡(Region Proposal Network，RPN)，在特征圖每一個像素點處形成九種不同形狀的初始檢測框，經過一次3×3卷積和一次1×1卷積后，計算所有檢測框、人和圍欄的重疊率，取與人和圍欄有最大重疊率的檢測框標記為有目標物體，計算每一個檢測框與所有目標物體的重疊率，取與目標物體有最大重疊率，且大于設定閾值的檢測框標記為有目標物體，利用Softmax回歸模型對檢測框進行二分類，再通過Reshape函數將特征圖變換成RPN網絡需要的形式，同時，經過一次3×3卷積和一次1×1卷積后，利用邊界框回歸計算每一個檢測框與其重疊率最大的目標物體之間的偏移參數，即檢測框的位置偏移，Proposal部分將包含目標物體的檢測框及其位置偏移整合起來，生成候選區域；

步驟S3：再然后通過關系過濾網絡模型去掉不存在關系的物體對，對候選場景圖進行稀疏；

步驟S4：對每一個節點的位置進行加權求和得到卷積后的模型，整合圖中相鄰節點的上下文信息，標注人和圍欄的關系，然后，將上述標注好的圖片放入Visual Genome數據集中進行預訓練，Visual Genome數據集包含10萬張圖片，每張圖片平均有35個對象、26個屬性和21個對象之間的成對關系，訓練過程中，當作業人員的檢測框與圍欄的檢測框邊的重合率達到50％及以上時，判定作業人員正在跨欄，否則判定未跨欄，最后，得到訓練好的檢測模型，可對現場作業人員跨越圍欄行為進行實時檢測。