[發(fā)明專利]抽煙及使用手機(jī)行為檢測(cè)裝置及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110525138.3
• 申請(qǐng)日: 2021-05-13
• 公開（公告）號(hào): CN113392706A
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 張昭智;張子恒;方立緯
• 申請(qǐng)（專利權(quán)）人: 上海湃道智能科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識(shí)產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

本發(fā)明提供了抽煙及使用手機(jī)行為檢測(cè)裝置，包括攝像頭用于獲得工作現(xiàn)場(chǎng)的人體圖像；網(wǎng)絡(luò)用于傳輸圖像到遠(yuǎn)端服務(wù)器；人體姿態(tài)檢測(cè)器基于預(yù)訓(xùn)練好的yolov3?SPP算法識(shí)別出人體圖像，并將人體圖像送進(jìn)訓(xùn)練好的關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)進(jìn)行處理；分類器根據(jù)關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)將圖像根據(jù)手部和頭部距離進(jìn)行分類，識(shí)別出抽煙或使用手機(jī)的圖像。本發(fā)明可以對(duì)于員工違規(guī)行為構(gòu)建出能夠?qū)崟r(shí)識(shí)別操作員抽煙或使用手機(jī)行為的高精度檢測(cè)裝置和識(shí)別方法。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，尤其是抽煙及使用手機(jī)行為檢測(cè)裝置及方法。

背景技術(shù)

工廠或者工地安全是工廠類型公司最為重視的，尤其在化工廠內(nèi)的環(huán)境下。如操作員在生產(chǎn)環(huán)境中抽煙極有可能引發(fā)不可收拾的事故。從許多歷史新聞就能找到因火源處理不當(dāng)引發(fā)的嚴(yán)重事故。而另一方面，隨著智能手機(jī)發(fā)展，人對(duì)手機(jī)的黏性日益增加，我們?cè)诤芏嗟胤蕉寄芤姷劫u場(chǎng)員工無(wú)心銷售產(chǎn)品而是低頭玩手機(jī)。同樣的情況工廠生產(chǎn)環(huán)境也可能發(fā)生，但情況卻更加嚴(yán)峻，因?yàn)樯a(chǎn)環(huán)境有可能因?yàn)橐粋€(gè)閃失就造成在人或是經(jīng)濟(jì)上的極大的損失。在無(wú)上級(jí)領(lǐng)導(dǎo)在現(xiàn)場(chǎng)監(jiān)管的情況下，操作員易出現(xiàn)懈怠，例如使用手機(jī)講電話，低頭玩手機(jī)等行為。因此基于提升工廠生產(chǎn)環(huán)境的安全以及效率而提出用人工智能的方式對(duì)工廠提供一個(gè)全智能化監(jiān)督，不僅可以預(yù)防工廠潛在可能發(fā)生的危險(xiǎn)行為，同時(shí)又改善操作員對(duì)工作懈怠等行為。

在現(xiàn)有技術(shù)中(申請(qǐng)?zhí)枺?01921343086.2一種施工工地抽煙行為檢測(cè)裝置)，工地場(chǎng)景下，基于傳感器或者簡(jiǎn)易攝像頭來(lái)判斷操作員是否吸煙，主要由導(dǎo)軌、支架、固定件、煙霧傳感器、攝像頭等。這種場(chǎng)景的做法在固定件上安裝攝像頭，支架上安裝多個(gè)煙霧傳感器，最終煙霧傳感器與攝像頭又透過(guò)以太網(wǎng)與服務(wù)器進(jìn)行連接，服務(wù)器安裝在施工棚內(nèi)。該方案在使用的場(chǎng)景下需要極大的定制化，并且必須多方考慮現(xiàn)場(chǎng)施工環(huán)境，可延展性低。工地開放環(huán)境下，煙霧首先有可能被周遭的環(huán)境給稀釋掉，導(dǎo)致煙霧傳感器表現(xiàn)效果不佳(煙霧需達(dá)到一定濃度才會(huì)報(bào)警)。多種設(shè)備導(dǎo)致維護(hù)不易，例如煙霧傳感器需要定時(shí)清洗以確保檢測(cè)的精度。即使攝像頭可以及時(shí)的拍下工人抽煙，也沒辦法及時(shí)的反饋出警告。對(duì)危險(xiǎn)的行為提前預(yù)防，才是工廠最需要的。而人工后期才進(jìn)行檢視，效率極低。

在另外一些現(xiàn)有技術(shù)中(申請(qǐng)?zhí)枺?01911073341.0基于tiny-YOLOv3的施工安全檢測(cè)方法及系統(tǒng))，同樣利用計(jì)算機(jī)視覺的技術(shù)，基于目標(biāo)檢測(cè)的方式直接對(duì)采集到的圖像進(jìn)行數(shù)據(jù)標(biāo)注并且依次進(jìn)行訓(xùn)練。該方案可以對(duì)操作員抽煙未帶安全帽等行為進(jìn)行檢測(cè)，并將檢測(cè)的結(jié)果透過(guò)手機(jī)APP發(fā)送給操作員進(jìn)行警告。該方案中，yolov3-tiny的檢測(cè)精度屬深度學(xué)習(xí)檢測(cè)模型中的極為輕量的檢測(cè)模型，本身的檢測(cè)精度相較于其他模型低，針對(duì)特別注重安全的工廠環(huán)境來(lái)說(shuō)，該算法不足以提供高準(zhǔn)確性。只單純使用yolov3-tiny檢測(cè)器進(jìn)行判別，并且對(duì)整張圖像進(jìn)行檢測(cè)容易產(chǎn)生誤報(bào)。為了取得更高更廣的視野，在工地的攝像機(jī)一般安裝在較高的位置，這表示采集到的圖像場(chǎng)景會(huì)非常復(fù)雜，其中除了重要的目標(biāo)(人)之后，還包含許多物件，這導(dǎo)致除了目標(biāo)(人)以外的物件都可能增大被識(shí)別錯(cuò)誤的概率。例如采集圖像為1920*1080像素大小圖像，需要檢測(cè)的吸煙可能只占了20*20像素，占整副圖像極小的比例，經(jīng)過(guò)特征提取下采樣多次之后，對(duì)檢測(cè)有用的信息非常少量。

現(xiàn)有技術(shù)檢測(cè)的過(guò)程不夠深入，無(wú)法做到低誤報(bào)及高準(zhǔn)確性。因此需要有一種可靠方案解決現(xiàn)有技術(shù)適用場(chǎng)景通用性低的問題和檢測(cè)精度低，容易誤判的缺點(diǎn)。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決對(duì)于員工違規(guī)行為，例如抽煙或者玩手機(jī)的情況，現(xiàn)有技術(shù)適用場(chǎng)景通用性低的問題和檢測(cè)精度低，容易誤判的缺點(diǎn)，就違規(guī)行為構(gòu)建出能夠?qū)崟r(shí)識(shí)別操作員抽煙或使用手機(jī)行為的高精度識(shí)別裝置。

為了實(shí)現(xiàn)這一目的本發(fā)明提供了抽煙及使用手機(jī)行為檢測(cè)裝置，包括攝像頭用于獲得工作現(xiàn)場(chǎng)的人體圖像，網(wǎng)絡(luò)用于傳輸圖像到遠(yuǎn)端服務(wù)器，人體姿態(tài)檢測(cè)器基于預(yù)訓(xùn)練好的yolov3-SPP算法識(shí)別出人體圖像，并將人體圖像送進(jìn)訓(xùn)練好的關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)進(jìn)行處理；分類器根據(jù)關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)將圖像根據(jù)手部和頭部距離進(jìn)行分類，識(shí)別出抽煙或使用手機(jī)的圖像。