[發(fā)明專利]作業(yè)人員行為確定方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210555206.5
• 申請日: 2022-05-19
• 公開（公告）號: CN114821806A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 王琦;王振利;張志;劉丕玉;張海龍;楊月琛;劉海波;王萬國;趙文濤;劉晗;徐康;韓元凱;徐夢雨
• 申請（專利權(quán)）人: 國網(wǎng)智能科技股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/82;G06V10/774;G06V10/74;G06N3/04;G08B21/02
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 趙迎迎

1.一種作業(yè)人員行為確定方法，其特征在于，包括：

采集電力施工現(xiàn)場中作業(yè)人員作業(yè)過程的作業(yè)圖像；

基于預(yù)先建立的人體姿態(tài)識別模型，確定所述作業(yè)圖像中所述作業(yè)人員的人體關(guān)鍵點(diǎn)和各所述人體關(guān)鍵點(diǎn)之間的關(guān)聯(lián)關(guān)系；

確定與所述人體關(guān)鍵點(diǎn)和所述關(guān)聯(lián)關(guān)系對應(yīng)的所述作業(yè)人員的作業(yè)行為，將所述作業(yè)行為與預(yù)先設(shè)定的違規(guī)行為進(jìn)行對比，確定所述作業(yè)人員是否存在違規(guī)行為。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述確定所述作業(yè)圖像中所述作業(yè)人員的人體關(guān)鍵點(diǎn)和各所述人體關(guān)鍵點(diǎn)之間的關(guān)聯(lián)關(guān)系之前，還包括：

獲取至少一張作業(yè)人員的作業(yè)過程的樣本圖像，組成樣本數(shù)據(jù)集；

預(yù)先對所述樣本數(shù)據(jù)集的各樣本圖像中的作業(yè)人員進(jìn)行標(biāo)記；

基于標(biāo)記后的各所述樣本圖像，對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，基于所述訓(xùn)練結(jié)果建立所述人體姿態(tài)識別模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述組成樣本數(shù)據(jù)集，包括：

對獲取到的至少一張所述樣本圖像進(jìn)行變換處理；

基于經(jīng)過變換處理后得到的各變換圖像和所述樣本圖像，組成所述樣本數(shù)據(jù)集；

其中，所述變換處理包括放縮處理、調(diào)整對比度處理、色彩抖動處理和增加噪聲處理中的至少一種。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于標(biāo)記后的各所述樣本圖像，對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，基于所述訓(xùn)練結(jié)果建立所述人體姿態(tài)識別模型，包括：

將所述樣本圖像輸入至所述卷積神經(jīng)網(wǎng)絡(luò)中，輸出所述卷積神經(jīng)網(wǎng)絡(luò)對所述樣本圖像中的作業(yè)人員的姿態(tài)的識別結(jié)果；

將所述識別結(jié)果與所述樣本圖像中的所述標(biāo)記進(jìn)行比對，基于比對結(jié)果調(diào)整所述卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，并更新所述卷積神經(jīng)網(wǎng)絡(luò)；

重復(fù)執(zhí)行將所述樣本圖像輸入至卷積神經(jīng)網(wǎng)絡(luò)中，將得到的識別結(jié)果與所述標(biāo)記比對，并調(diào)整所述神經(jīng)網(wǎng)絡(luò)的網(wǎng)格參數(shù)的操作，直到當(dāng)前訓(xùn)練過程滿足預(yù)設(shè)條件時，結(jié)束對卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，將當(dāng)前的卷積神經(jīng)網(wǎng)絡(luò)確定為所述人體姿態(tài)識別模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述預(yù)設(shè)條件包括重復(fù)執(zhí)行的次數(shù)達(dá)到預(yù)設(shè)次數(shù)閾值。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取至少一張作業(yè)人員的作業(yè)過程的樣本圖像，包括：

獲取歷史監(jiān)控視頻，按照預(yù)設(shè)時間間隔對所述歷史監(jiān)控視頻進(jìn)行抽幀操作；

將抽幀操作得到的各幀圖像確定為所述樣本圖像。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)先建立的人體姿態(tài)識別模型，確定所述作業(yè)圖像中所述作業(yè)人員的人體關(guān)鍵點(diǎn)和各所述人體關(guān)鍵點(diǎn)之間的關(guān)聯(lián)關(guān)系，包括：

將所述作業(yè)圖像輸入至所述人體姿態(tài)識別模型中，生成與所述作業(yè)圖像對應(yīng)的第一數(shù)量的置信度圖像和第二數(shù)量的親和場圖像；

基于所述第一數(shù)量的所述置信度圖像，確定所述作業(yè)圖像中所述作業(yè)人員的人體關(guān)鍵點(diǎn)；

基于所述第二數(shù)量的所述親和場圖像，確定各所述人體關(guān)鍵點(diǎn)之間的關(guān)聯(lián)關(guān)系。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述采集電力施工現(xiàn)場中作業(yè)人員作業(yè)過程的作業(yè)圖像之后，還包括：

對所述作業(yè)圖形進(jìn)行卷積計(jì)算、線性整流函數(shù)計(jì)算和池化操作，并將所述作業(yè)圖形更新為操作后得到的圖形。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將所述作業(yè)行為與預(yù)先設(shè)定的違規(guī)行為進(jìn)行對比，確定所述作業(yè)人員是否存在違規(guī)行為之后，還包括：

當(dāng)確定出所述作業(yè)人員存在違規(guī)行為時，生成包含有所述違規(guī)行為的警告信息發(fā)送至安全人員終端以進(jìn)行提示。

10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定與所述人體關(guān)鍵點(diǎn)和所述關(guān)聯(lián)關(guān)系對應(yīng)的所述作業(yè)人員的作業(yè)行為，包括：

確定所述作業(yè)圖像中對應(yīng)的所述電力施工現(xiàn)場的作業(yè)背景信息，基于所述作業(yè)背景信息、所述人體關(guān)鍵點(diǎn)和所述關(guān)聯(lián)關(guān)系，確定所述作業(yè)人員的所述作業(yè)行為。