[發(fā)明專利]基于圖像動作識別的作業(yè)規(guī)范監(jiān)督系統(tǒng)及監(jiān)督方法

在審

• 申請?zhí)枺?/td>: 202110767310.6
• 申請日: 2021-07-07
• 公開（公告）號: CN115661880A
• 公開（公告）日: 2023-01-31
• 發(fā)明（設(shè)計）人: 黃德根
• 申請（專利權(quán)）人: 蘇州優(yōu)斯登物聯(lián)網(wǎng)科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V10/82;G06N3/0464;G06N3/09;G06N3/096
• 代理公司: 蘇州簡理知識產(chǎn)權(quán)代理有限公司 32371
• 代理人: 楊瑞玲

本發(fā)明公開了一種基于圖像動作識別的作業(yè)規(guī)范監(jiān)督系統(tǒng)及監(jiān)督方法，該監(jiān)督系統(tǒng)通過信息采集模塊對作業(yè)人員的身份及動作情況進行圖像動作信息采集；通過人臉識別單元基于采集的圖像動作信息完成對作業(yè)人員的身份識別；通過人物識別單元對預(yù)定區(qū)域的人物存在性進行判定，有人時通過骨架識別單元獲得人物骨架數(shù)據(jù)，并將人物骨架數(shù)據(jù)傳入動作骨架分析單元進行動作標(biāo)準(zhǔn)度評價，再將動作標(biāo)準(zhǔn)度評價信息寫入數(shù)據(jù)庫，且將作業(yè)圖像信息存儲至文件存儲區(qū)中；通過前端監(jiān)督模塊將當(dāng)前作業(yè)人員的身份信息及動作標(biāo)準(zhǔn)度評價信息及作業(yè)圖像信息顯示在顯示面板上。本發(fā)明所述監(jiān)督系統(tǒng)對作業(yè)人員技術(shù)動作進行了實時的監(jiān)督和檢測，間接規(guī)范作業(yè)人員技術(shù)動作。

技術(shù)領(lǐng)域

本發(fā)明涉及作業(yè)規(guī)范監(jiān)督系統(tǒng)技術(shù)領(lǐng)域，尤其涉及一種基于人臉及行為進行動作識別的作業(yè)規(guī)范監(jiān)督系統(tǒng)、監(jiān)督方法及設(shè)備。

背景技術(shù)

當(dāng)前各機械作業(yè)場景中作業(yè)人員在操作設(shè)備時技術(shù)動作不規(guī)范，這樣就易導(dǎo)致產(chǎn)品品質(zhì)及生產(chǎn)效率不達標(biāo)的問題，現(xiàn)有的現(xiàn)場管理監(jiān)督系統(tǒng)沒有人臉注冊及人臉識別記錄信息模塊，且現(xiàn)有現(xiàn)場管理監(jiān)督系統(tǒng)的行為識別模塊在對作業(yè)人員檢測時沒有檢測區(qū)域界定，當(dāng)人物被部分遮擋時無法進行識別，監(jiān)控視頻流會出現(xiàn)網(wǎng)絡(luò)問題而卡頓或直接黑屏。

因而，亟需提出一種新的技術(shù)方案來解決現(xiàn)有技術(shù)中存在的問題。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供一種基于人臉及行為動作識別的作業(yè)規(guī)范監(jiān)督系統(tǒng)，采用的具體技術(shù)方案如下：

一種基于人臉及行為動作識別的作業(yè)規(guī)范監(jiān)督系統(tǒng)，其包括：

信息采集模塊，其被配置的對作業(yè)人員的身份及動作情況進行圖像動作信息采集；

識別處理模塊，其被配置的基于所述信息采集模塊采集的圖像動作信息進行人臉身份識別和動作標(biāo)準(zhǔn)度判定；

前端監(jiān)督模塊，其具有顯示面板，其被配置的將所述識別處理模塊處理得到的作業(yè)人員的人臉身份信息和動作標(biāo)準(zhǔn)度判定信息，以及自所述信息采集模塊采集的實時視頻信息顯示在所述顯示面板上；

所述信息采集模塊采集的所述圖像動作信息為視頻流信息；

所述識別處理模塊包括人臉識別單元、人物識別單元、骨架識別單元和動作骨架分析單元，所述人臉識別單元基于所述信息采集模塊采集的所述圖像動作信息識別作業(yè)人員的人臉信息，所述人物識別單元基于所述信息采集模塊采集的所述圖像動作信息判定預(yù)定區(qū)域的人物存在性，所述骨架識別單元基于所述信息采集模塊采集的所述圖像動作信息分析人物骨架數(shù)據(jù)，所述動作骨架分析單元基于所述骨架識別單元分析的所述人物骨架數(shù)據(jù)進行動作標(biāo)準(zhǔn)度評價，且所述動作骨架分析單元將動作標(biāo)準(zhǔn)度評價信息寫入系統(tǒng)的數(shù)據(jù)庫，且將所述信息采集模塊采集的所述圖像動作信息作為作業(yè)圖像信息存儲至系統(tǒng)的文件存儲區(qū)中。

上述技術(shù)方案中進一步的，所述信息采集模塊包括錄像主機，以及與所述錄像主機信息連接的一個或多個相機，每個所述相機用以對目標(biāo)設(shè)備及目標(biāo)設(shè)備處的人員作業(yè)情況進行實時圖像采集，所述錄像主機采集每個所述相機采集的實時圖像，且將采集的所述實時圖像作為圖像動作信息傳入所述人臉識別單元和所述人物識別單元中；所述識別處理模塊還包括人臉在線注冊單元，所述人臉在線注冊單元用于錄入作業(yè)人員的人臉信息，所述人臉在線注冊單元將作業(yè)人員的人臉信息錄入所述人臉在線注冊單元的存儲庫中；所述人臉識別單元將采集的圖像動作信息中的人臉信息與所述人臉注冊單元的存儲庫中的人臉信息進行對比，根據(jù)所述存儲庫中的信息確定作業(yè)人員身份。

進一步的，所述錄像主機將承載作業(yè)人員身份及動作情況的實時圖像作為圖像動作信息傳入所述人臉識別單元，所述人臉識別單元基于神經(jīng)網(wǎng)絡(luò)的人臉識別模型對圖像動作信息中的作業(yè)人員進行智能人臉識別，確定作業(yè)人員身份信息。