[發(fā)明專利]一種基于人體姿態(tài)估計的煤礦井下人員不安全行為識別方法

有效

• 申請?zhí)枺?/td>: 201811289423.4
• 申請日: 2018-10-31
• 公開（公告）號: CN109376673B
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計）人: 朱艾春;張賽;吳錢御;華鋼;李義豐
• 申請（專利權(quán)）人: 南京工業(yè)大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06N3/04;G06N3/08
• 代理公司: 北京思創(chuàng)大成知識產(chǎn)權(quán)代理有限公司 11614
• 代理人: 尹慧晶

1.一種基于人體姿態(tài)估計的煤礦井下人員不安全行為識別方法，其特征在于，該方法包括以下步驟：

步驟1、預(yù)設(shè)若干種煤礦井下人員的不安全行為，獲取前述不安全行為對應(yīng)的視頻信息，通過人工標記的方式標定前述視頻信息中的骨架信息，得到訓(xùn)練數(shù)據(jù)集，并對前述訓(xùn)練數(shù)據(jù)集進行基于對抗學(xué)習(xí)的困難樣本挖掘沙漏網(wǎng)絡(luò)訓(xùn)練，獲取模型，將視頻信息中的骨架信息按時間軸形成的運行軌跡和前述模型存儲至數(shù)據(jù)庫；

步驟2、采用監(jiān)控設(shè)備，實時讀取煤礦監(jiān)控視頻，將視頻分解成圖像；

步驟3、對讀取的圖像中井下人員進行姿態(tài)估計，采用基于對抗學(xué)習(xí)的困難樣本挖掘沙漏網(wǎng)絡(luò)模型提取井下人員的骨架信息；

步驟4、將前述煤礦井下人員的骨架信息按照時間軸形成運動軌跡與步驟1中預(yù)設(shè)的幾種煤礦井下人員的不安全行為的骨架運行軌跡中的坐標進行誤差計算，誤差小于預(yù)設(shè)的閾值為不安全行為，發(fā)出報警提示，否則，不做處理；

所述步驟1中對訓(xùn)練數(shù)據(jù)集進行基于對抗學(xué)習(xí)的困難樣本挖掘沙漏網(wǎng)絡(luò)訓(xùn)練，獲取模型的方法具體為：

步驟1.1、構(gòu)建基于對抗學(xué)習(xí)的困難樣本挖掘沙漏網(wǎng)絡(luò)模型，包括子沙漏網(wǎng)絡(luò)G和子沙漏網(wǎng)絡(luò)D，所述的子沙漏網(wǎng)絡(luò)G作為生成器Generator，用于生成井下人員姿態(tài)熱圖；所述的子沙漏網(wǎng)絡(luò)D為鑒別器Discriminator，用于在生成的熱圖數(shù)據(jù)中鑒別出煤礦井下人員姿態(tài)，每一個子沙漏網(wǎng)絡(luò)由N個沙漏單元堆積而成；

步驟1.2、獲取煤礦監(jiān)控圖像樣本I、及樣本中人員目標標記的骨架點坐標X作為困難樣本挖掘沙漏網(wǎng)絡(luò)的輸入；

步驟1.3、將圖像樣本I輸入子沙漏網(wǎng)絡(luò)G中生成熱圖并通過標記的骨架點信息X生成關(guān)于各個骨架點的真值熱圖H_ij；其中i表示第i個沙漏單元，j表示人體中關(guān)節(jié)點的序號；

步驟1.4、計算生成器的生成熱圖與真值熱圖H_ij之間的誤差L_MSE：

其中j∈[1,M]，M表示每個人體中包含關(guān)節(jié)點總數(shù)，Rank函數(shù)對所有的關(guān)節(jié)點誤差進行排序，表示對誤差最高的K個關(guān)節(jié)點進行誤差累加；

步驟1.5、將生成熱圖輸入鑒別器D中，得到重構(gòu)熱圖

步驟1.6、計算沙漏網(wǎng)絡(luò)中最后一個單元的生成熱圖與該單元重構(gòu)熱圖的誤差L_adv；

步驟1.7、累加誤差L_MSE和L_adv得到生成器的誤差L_G，并通過梯度下降法對生成器進行優(yōu)化；

步驟1.8、將真值熱圖H_ij輸入到基于鑒別器D中，得到重構(gòu)熱圖D(H_ij,I)；

步驟1.9、計算沙漏網(wǎng)絡(luò)中最后一個單元的真值熱圖H_j與該單元重構(gòu)熱圖D(H_j,I)的誤差L_R；

步驟1.10、累加誤差L_adv和L_R得到鑒別器的誤差L_D，并通過梯度下降法對鑒別器進行優(yōu)化；優(yōu)化完成后，獲取基于對抗學(xué)習(xí)的困難樣本挖掘沙漏網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的基于人體姿態(tài)估計的煤礦井下人員不安全行為識別方法，其特征在于，所述的不安全行為礦工攀坐平臺護欄、井下摘掉安全帽和冒險進入危險場所。