[發(fā)明專利]一種基于時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的帶電作業(yè)現(xiàn)場(chǎng)違章行為檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011030511.X
• 申請(qǐng)日: 2020-09-27
• 公開（公告）號(hào): CN112183317B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 王波;羅鵬;馬富齊;張迎晨;周胤宇;張?zhí)?/a>;王紅霞;馬恒瑞;李怡凡;張嘉鑫
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06V20/52
• 分類號(hào): G06V20/52;G06V40/70;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 蘇州導(dǎo)思知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32425
• 代理人: 龔建良

1.一種基于時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的帶電作業(yè)現(xiàn)場(chǎng)違章行為檢測(cè)方法，其特征在于：該方法包含以下步驟：

步驟1：在110kV帶電作業(yè)現(xiàn)場(chǎng)布置監(jiān)控?cái)z像頭，拍攝現(xiàn)場(chǎng)實(shí)時(shí)作業(yè)信息，將信息傳輸?shù)綌?shù)據(jù)管理中心進(jìn)行存儲(chǔ)；

步驟2：根據(jù)帶電作業(yè)現(xiàn)場(chǎng)的實(shí)際情況，總結(jié)帶電作業(yè)的正常行為，以及常見的違章行為；

步驟2.1：采集得到帶電作業(yè)現(xiàn)場(chǎng)監(jiān)控視頻后，對(duì)視頻場(chǎng)景進(jìn)行總結(jié)，選取其中包含了完整工作過程的數(shù)據(jù)；

步驟2.2：總結(jié)帶電作業(yè)的具體過程，進(jìn)入帶電作業(yè)現(xiàn)場(chǎng)首先做好安全防護(hù)，是否需要掛安全繩，隨后依次截取行走、更換器件、分合閘、爬梯子，各個(gè)關(guān)鍵動(dòng)作對(duì)應(yīng)的片段；

步驟2.3：總結(jié)帶電作業(yè)過程中常見的違章行為，包含有取下安全帽、超出安全范圍、違章翻越圍欄，在作業(yè)視頻中選取對(duì)應(yīng)的片段，截取作為違章行為視頻數(shù)據(jù)集；

步驟2.4：帶電作業(yè)關(guān)鍵動(dòng)作和違章行為所對(duì)應(yīng)的視頻片段共同組成訓(xùn)練數(shù)據(jù)集；

步驟3：將提取好的視頻片段利用openpose 來實(shí)現(xiàn)骨骼標(biāo)定，骨骼標(biāo)定數(shù)據(jù)作為輸入，采用ST-GCN網(wǎng)絡(luò)進(jìn)行挖掘，進(jìn)而識(shí)別作業(yè)人員的實(shí)時(shí)動(dòng)作信息，以此判定作業(yè)人員是否存在違章行為；

步驟3.1：首先搭建openpose模型來識(shí)別人員骨架信息，首先是輸入一張?jiān)紙D片，經(jīng)過VGG網(wǎng)絡(luò)進(jìn)行簡(jiǎn)單的特征提取，得到一個(gè)特征圖，然后在經(jīng)過兩個(gè)分支分別預(yù)測(cè)，第一個(gè)分支為關(guān)鍵點(diǎn)的分支，此外在這個(gè)分支的基礎(chǔ)之上增加骨骼點(diǎn)走向的分支，通過將關(guān)鍵點(diǎn)相連，得到現(xiàn)場(chǎng)作業(yè)人員骨架信息；

步驟3.2： openpose模型采用MSCOCO數(shù)據(jù)集進(jìn)行訓(xùn)練，該數(shù)據(jù)集采用18個(gè)特征點(diǎn)來表示人員姿態(tài)，通過訓(xùn)練后，該模型從圖片或視頻中提取人員骨架關(guān)鍵點(diǎn)；

步驟3.3：采用在MSCOCO數(shù)據(jù)集上訓(xùn)練好的openpose模型來提取帶電作業(yè)人員的姿態(tài)關(guān)鍵點(diǎn)，通過識(shí)別，每幀圖片都對(duì)應(yīng)得到其中作業(yè)人員的姿態(tài)關(guān)鍵點(diǎn)信息，一般為18個(gè)關(guān)鍵點(diǎn)，遮擋情況下部分關(guān)鍵點(diǎn)無法識(shí)別，設(shè)置為空；

步驟3.4： openpose識(shí)別的作業(yè)人員姿態(tài)關(guān)鍵點(diǎn)信息作為姿態(tài)標(biāo)記數(shù)據(jù)，視頻提取時(shí)的動(dòng)作作為標(biāo)簽，使用ST-GCN網(wǎng)絡(luò)挖掘視頻數(shù)據(jù)中的空間關(guān)系和時(shí)間關(guān)系，建立帶電作業(yè)動(dòng)作識(shí)別模型；

步驟4、使用訓(xùn)練好的模型對(duì)帶電作業(yè)現(xiàn)場(chǎng)的監(jiān)控視頻自動(dòng)進(jìn)行作業(yè)行為分析和違章行為檢測(cè)，判斷作業(yè)人員的作業(yè)過程是否規(guī)范，作業(yè)人員存在違章行為時(shí)報(bào)警；

步驟4.1：在帶電作業(yè)現(xiàn)場(chǎng)布置好攝像頭，保證可以拍攝到作業(yè)全部場(chǎng)景，作業(yè)人員無嚴(yán)重遮擋；

步驟4.2：調(diào)用openpose模型對(duì)作業(yè)人員安全防護(hù)進(jìn)行識(shí)別，檢測(cè)安全帽、絕緣服、絕緣手套等防護(hù)措施是否到位，確認(rèn)無誤后允許作業(yè)人員進(jìn)入作業(yè)現(xiàn)場(chǎng)，作業(yè)開始；

步驟4.3：調(diào)用openpose模型對(duì)作業(yè)人員進(jìn)行實(shí)時(shí)的跟蹤，獲取作業(yè)人員行為姿態(tài)信息，采用18個(gè)骨骼關(guān)鍵點(diǎn)來描述作業(yè)人員的姿態(tài)；

步驟4.4：使用前3秒內(nèi)的每個(gè)視頻幀檢測(cè)得到的人員姿態(tài)信息，建立作業(yè)人員關(guān)鍵點(diǎn)時(shí)空?qǐng)D，采用ST-GCN網(wǎng)絡(luò)對(duì)作業(yè)人員骨骼關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行預(yù)測(cè)，判斷作業(yè)人員當(dāng)前執(zhí)行的動(dòng)作；

步驟4.5：將ST-GCN網(wǎng)絡(luò)識(shí)別得到的作業(yè)動(dòng)作與作業(yè)任務(wù)中的動(dòng)作進(jìn)行匹配，校核作業(yè)人員的操作順序以及操作動(dòng)作是否符合安全生產(chǎn)規(guī)程，同時(shí)，若時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)到作業(yè)人員存在違章行為，則立即觸發(fā)報(bào)警。