[發(fā)明專(zhuān)利]行為識(shí)別方法、裝置及計(jì)算機(jī)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110372549.3
• 申請(qǐng)日: 2021-04-07
• 公開(kāi)（公告）號(hào): CN113065474B
• 公開(kāi)（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 蔡逸超;游華斌;黃睿;晏斐;張遠(yuǎn)來(lái)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 泰豪軟件股份有限公司
• 主分類(lèi)號(hào): G06V40/20
• 分類(lèi)號(hào): G06V40/20;G06V10/82;G06N3/08
• 代理公司: 北京超凡宏宇專(zhuān)利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 張萌

本發(fā)明實(shí)施例公開(kāi)了一種行為識(shí)別方法，所述方法包括：提取當(dāng)前幀圖像中各待測(cè)對(duì)象的骨骼關(guān)鍵點(diǎn)；根據(jù)骨骼關(guān)鍵點(diǎn)，從全部待測(cè)對(duì)象中查找手臂夾角小于夾角閾值的目標(biāo)對(duì)象；獲取目標(biāo)對(duì)象的手部區(qū)域圖像；利用預(yù)先訓(xùn)練的行為識(shí)別模型識(shí)別每個(gè)目標(biāo)對(duì)象的手部區(qū)域圖像是否包含目標(biāo)物體，并輸出對(duì)應(yīng)所述當(dāng)前幀圖像中每個(gè)目標(biāo)對(duì)象的行為識(shí)別結(jié)果。通過(guò)結(jié)合骨骼關(guān)鍵點(diǎn)分析和手部區(qū)域圖像目標(biāo)識(shí)別，可實(shí)現(xiàn)對(duì)監(jiān)控圖像中的人員吸煙、玩手機(jī)行為的實(shí)時(shí)識(shí)別。通過(guò)對(duì)手部區(qū)域圖像進(jìn)行香煙手機(jī)識(shí)別，可以大大減少背景干擾，提高識(shí)別準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識(shí)別領(lǐng)域，尤其涉及一種行為識(shí)別方法、裝置及計(jì)算機(jī)設(shè)備。

背景技術(shù)

為了提升營(yíng)業(yè)廳工作人員的服務(wù)質(zhì)量，維護(hù)企業(yè)的良好形象，需要加強(qiáng)對(duì)營(yíng)業(yè)廳工作人員的工作狀態(tài)和行為規(guī)范監(jiān)督。員工在工作期間吸煙或玩手機(jī)十分影響其工作效率，造成到訪(fǎng)客戶(hù)的不滿(mǎn)。另外，在公共場(chǎng)所吸煙不僅損害自身健康，其也嚴(yán)重污染室內(nèi)空氣，影響他人健康。隨著AI(Artificial?Intelligence，簡(jiǎn)稱(chēng)AI)技術(shù)的發(fā)展，圖像識(shí)別被廣泛應(yīng)用到生活、生產(chǎn)的各個(gè)方面。應(yīng)用先進(jìn)的圖像識(shí)別技術(shù)，對(duì)營(yíng)業(yè)廳的工作人員吸煙玩手機(jī)行為進(jìn)行管控，可以有效地提升工作人員的工作服務(wù)效率，為文明服務(wù)護(hù)航，提升客戶(hù)滿(mǎn)意度及企業(yè)自身的形象。

目前在行為識(shí)別領(lǐng)域，現(xiàn)有技術(shù)多集中在不區(qū)分對(duì)象的行為識(shí)別，而對(duì)特定人群特定行為的識(shí)別方案比較缺乏，并且多針對(duì)跳繩、揮手、跑步等具有顯著肢體動(dòng)作的行為。尤其，針對(duì)吸煙或玩手機(jī)這類(lèi)非顯著肢體行為的識(shí)別，目前的技術(shù)方案存在識(shí)別精度差、識(shí)別效率低的情況。

發(fā)明內(nèi)容

針對(duì)上述問(wèn)題，本發(fā)明提出一種行為識(shí)別方法、裝置及計(jì)算機(jī)設(shè)備。

具體方案如下：

第一方面，本公開(kāi)實(shí)施例提供了一種行為識(shí)別方法，所述方法包括：

提取當(dāng)前幀圖像中各待測(cè)對(duì)象的骨骼關(guān)鍵點(diǎn)，其中，所述骨骼關(guān)鍵點(diǎn)至少包括手腕關(guān)鍵點(diǎn)、手肘關(guān)鍵點(diǎn)和肩部關(guān)鍵點(diǎn)；

根據(jù)骨骼關(guān)鍵點(diǎn)，從全部待測(cè)對(duì)象中查找手臂夾角小于夾角閾值的目標(biāo)對(duì)象，其中，手臂夾角為手肘關(guān)鍵點(diǎn)和肩部關(guān)鍵點(diǎn)構(gòu)成的向量與手肘關(guān)鍵點(diǎn)和手腕關(guān)鍵點(diǎn)構(gòu)成的向量之間的夾角；

獲取目標(biāo)對(duì)象的手部區(qū)域圖像，其中，手部區(qū)域圖像為包含手腕關(guān)鍵點(diǎn)及鄰接區(qū)域的圖像；

利用預(yù)先訓(xùn)練的行為識(shí)別模型識(shí)別每個(gè)目標(biāo)對(duì)象的手部區(qū)域圖像是否包含目標(biāo)物體，并輸出對(duì)應(yīng)所述當(dāng)前幀圖像中每個(gè)目標(biāo)對(duì)象的行為識(shí)別結(jié)果，其中，目標(biāo)物體包括香煙和手機(jī)中的至少一種，行為識(shí)別結(jié)果包括存在異常行為和不存在異常行為，存在異常行為包括吸煙行為、玩手機(jī)行為中的至少一種。

根據(jù)本公開(kāi)的一種具體實(shí)施方式，所述行為識(shí)別模型的獲取方式包括：

獲取手部區(qū)域圖像樣本，其中，手部區(qū)域圖像樣本分為手腕關(guān)鍵點(diǎn)周邊區(qū)域包括目標(biāo)物體的第一類(lèi)圖像樣本和手腕關(guān)鍵點(diǎn)周邊區(qū)域不包含目標(biāo)物體的第二類(lèi)圖像樣本；

將所有手部區(qū)域圖像樣本輸入初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并保留每次訓(xùn)練得到的深度學(xué)習(xí)網(wǎng)絡(luò)模型；

對(duì)各深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行指標(biāo)評(píng)估，選取指標(biāo)值最高的深度學(xué)習(xí)網(wǎng)絡(luò)模型作為所述行為識(shí)別模型。

根據(jù)本公開(kāi)的一種具體實(shí)施方式，所述利用預(yù)先訓(xùn)練的行為識(shí)別模型識(shí)別每個(gè)目標(biāo)對(duì)象的手部區(qū)域圖像是否包含目標(biāo)物體，并輸出對(duì)應(yīng)所述當(dāng)前幀圖像中每個(gè)目標(biāo)對(duì)象的行為識(shí)別結(jié)果的步驟，包括：

若在目標(biāo)對(duì)象的手部區(qū)域圖像識(shí)別到香煙和/或手機(jī)，則確定所述目標(biāo)對(duì)象存在異常行為；

若未在目標(biāo)對(duì)象的手部區(qū)域圖像識(shí)別到香煙和手機(jī)，則確定所述目標(biāo)對(duì)象不存在異常行為。

根據(jù)本公開(kāi)的一種具體實(shí)施方式，所述方法還包括：