[發(fā)明專利]基于圖像動(dòng)作識(shí)別的作業(yè)規(guī)范監(jiān)督系統(tǒng)及監(jiān)督方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110767310.6
• 申請(qǐng)日: 2021-07-07
• 公開（公告）號(hào): CN115661880A
• 公開（公告）日: 2023-01-31
• 發(fā)明（設(shè)計(jì)）人: 黃德根
• 申請(qǐng)（專利權(quán)）人: 蘇州優(yōu)斯登物聯(lián)網(wǎng)科技有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V40/20;G06V10/82;G06N3/0464;G06N3/09;G06N3/096
• 代理公司: 蘇州簡(jiǎn)理知識(shí)產(chǎn)權(quán)代理有限公司 32371
• 代理人: 楊瑞玲

1.一種基于人臉及行為動(dòng)作識(shí)別的作業(yè)規(guī)范監(jiān)督系統(tǒng)，其特征在于，其包括：

信息采集模塊，其被配置的對(duì)作業(yè)人員的身份及動(dòng)作情況進(jìn)行圖像動(dòng)作信息采集；

識(shí)別處理模塊，其被配置的基于所述信息采集模塊采集的圖像動(dòng)作信息進(jìn)行人臉身份識(shí)別和動(dòng)作標(biāo)準(zhǔn)度判定；

前端監(jiān)督模塊，其具有顯示面板，其被配置的將所述識(shí)別處理模塊處理得到的作業(yè)人員的人臉身份信息和動(dòng)作標(biāo)準(zhǔn)度判定信息，以及自所述信息采集模塊采集的實(shí)時(shí)視頻信息顯示在所述顯示面板上；

所述信息采集模塊采集的所述圖像動(dòng)作信息為視頻流信息；

所述識(shí)別處理模塊包括人臉識(shí)別單元、人物識(shí)別單元、骨架識(shí)別單元和動(dòng)作骨架分析單元，所述人臉識(shí)別單元基于所述信息采集模塊采集的所述圖像動(dòng)作信息識(shí)別作業(yè)人員的人臉信息，所述人物識(shí)別單元基于所述信息采集模塊采集的所述圖像動(dòng)作信息判定預(yù)定區(qū)域的人物存在性，所述骨架識(shí)別單元基于所述信息采集模塊采集的所述圖像動(dòng)作信息分析人物骨架數(shù)據(jù)，所述動(dòng)作骨架分析單元基于所述骨架識(shí)別單元分析的所述人物骨架數(shù)據(jù)進(jìn)行動(dòng)作標(biāo)準(zhǔn)度評(píng)價(jià)，且所述動(dòng)作骨架分析單元將動(dòng)作標(biāo)準(zhǔn)度評(píng)價(jià)信息寫入系統(tǒng)的數(shù)據(jù)庫(kù)，且將所述信息采集模塊采集的所述圖像動(dòng)作信息作為作業(yè)圖像信息存儲(chǔ)至系統(tǒng)的文件存儲(chǔ)區(qū)中。

2.根據(jù)權(quán)利要求1所述的基于人臉及行為動(dòng)作識(shí)別的作業(yè)規(guī)范監(jiān)督系統(tǒng)，其特征在于，所述信息采集模塊包括錄像主機(jī)，以及與所述錄像主機(jī)信息連接的一個(gè)或多個(gè)相機(jī)，每個(gè)所述相機(jī)用以對(duì)目標(biāo)設(shè)備及目標(biāo)設(shè)備處的人員作業(yè)情況進(jìn)行實(shí)時(shí)圖像采集，所述錄像主機(jī)采集每個(gè)所述相機(jī)采集的實(shí)時(shí)圖像，且將采集的所述實(shí)時(shí)圖像作為圖像動(dòng)作信息傳入所述人臉識(shí)別單元和所述人物識(shí)別單元中；

所述識(shí)別處理模塊還包括人臉在線注冊(cè)單元，所述人臉在線注冊(cè)單元用于錄入作業(yè)人員的人臉信息，所述人臉在線注冊(cè)單元將作業(yè)人員的人臉信息錄入所述人臉在線注冊(cè)單元的存儲(chǔ)庫(kù)中；

所述人臉識(shí)別單元將采集的圖像動(dòng)作信息中的人臉信息與所述人臉注冊(cè)單元的存儲(chǔ)庫(kù)中的人臉信息進(jìn)行對(duì)比，根據(jù)所述存儲(chǔ)庫(kù)中的信息確定作業(yè)人員身份。

3.根據(jù)權(quán)利要求2所述的基于人臉及行為動(dòng)作識(shí)別的作業(yè)規(guī)范監(jiān)督系統(tǒng)，其特征在于，

所述錄像主機(jī)將承載作業(yè)人員身份及動(dòng)作情況的實(shí)時(shí)圖像作為圖像動(dòng)作信息傳入所述人臉識(shí)別單元，所述人臉識(shí)別單元基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別模型對(duì)圖像動(dòng)作信息中的作業(yè)人員進(jìn)行智能人臉識(shí)別，確定作業(yè)人員身份信息；

所述人物識(shí)別單元基于采集的圖像動(dòng)作信息對(duì)預(yù)定區(qū)域的人物存在性進(jìn)行判定，若判定有人，則通過骨架識(shí)別單元獲得人物骨架數(shù)據(jù)，并將所述人物骨架數(shù)據(jù)傳入動(dòng)作骨架分析單元進(jìn)行動(dòng)作標(biāo)準(zhǔn)度評(píng)價(jià)，再將動(dòng)作標(biāo)準(zhǔn)度評(píng)價(jià)信息寫入數(shù)據(jù)庫(kù)，且將作業(yè)圖像信息存儲(chǔ)至文件存儲(chǔ)區(qū)中。

4.根據(jù)權(quán)利要求3所述的基于人臉及行為動(dòng)作識(shí)別的作業(yè)規(guī)范監(jiān)督系統(tǒng)，其特征在于，將所述實(shí)時(shí)圖像中的監(jiān)控區(qū)域劃分為多個(gè)預(yù)定監(jiān)測(cè)區(qū)域，通過所述人物識(shí)別單元分別對(duì)多個(gè)所述預(yù)定監(jiān)測(cè)區(qū)域進(jìn)行人物存在性判定，若所述預(yù)定監(jiān)測(cè)區(qū)域中出現(xiàn)作業(yè)人員，則所述人物識(shí)別單元調(diào)動(dòng)所述骨架識(shí)別單元獲得人物骨架數(shù)據(jù)，并將所述人物骨架數(shù)據(jù)傳入所述動(dòng)作骨架分析單元進(jìn)行動(dòng)作標(biāo)準(zhǔn)度評(píng)價(jià)，再通過所述動(dòng)作骨架分析單元將動(dòng)作標(biāo)準(zhǔn)度評(píng)價(jià)信息寫入數(shù)據(jù)庫(kù)，且將作業(yè)圖像信息存儲(chǔ)至文件存儲(chǔ)區(qū)中。

5.根據(jù)權(quán)利要求4所述的基于人臉及行為動(dòng)作識(shí)別的作業(yè)規(guī)范監(jiān)督系統(tǒng)，其特征在于，所述人物識(shí)別單元基于視覺特征算法模型將所述實(shí)時(shí)圖像中的監(jiān)控區(qū)域自定義劃分多個(gè)預(yù)定監(jiān)測(cè)區(qū)域，且基于特征跟蹤及定位模型進(jìn)行人物存在性判定，若判定所述預(yù)定監(jiān)測(cè)區(qū)域中存在作業(yè)人員，則調(diào)動(dòng)骨架識(shí)別單元基于動(dòng)作骨架特征標(biāo)注模型對(duì)作業(yè)人員的動(dòng)作骨架進(jìn)行識(shí)別分析，且通過骨骼動(dòng)作移動(dòng)骨骼分類網(wǎng)絡(luò)對(duì)于骨架信息進(jìn)行判別，得到動(dòng)作標(biāo)準(zhǔn)度評(píng)價(jià)信息；

所述前端監(jiān)督模塊還設(shè)置有統(tǒng)計(jì)單元，所述統(tǒng)計(jì)單元用于統(tǒng)計(jì)作業(yè)人員的動(dòng)作標(biāo)準(zhǔn)度評(píng)價(jià)信息；

所述作業(yè)規(guī)范監(jiān)督系統(tǒng)內(nèi)還存儲(chǔ)有多個(gè)自動(dòng)化腳本，一個(gè)所述自動(dòng)化腳本用以判定所述視頻流的狀態(tài)是否異常，當(dāng)所述自動(dòng)化腳本判定所述視頻流異常時(shí)，所述作業(yè)規(guī)范監(jiān)督系統(tǒng)啟動(dòng)另一個(gè)所述自動(dòng)化腳本，以使得所述視頻流信息被切換為作業(yè)圖像信息，所述作業(yè)規(guī)范監(jiān)督系統(tǒng)啟動(dòng)支持所述視頻流重啟的一個(gè)所述自動(dòng)化腳本實(shí)現(xiàn)所述視頻流的重啟，以使得所述作業(yè)圖像信息被切換為所述視頻流信息。