[發(fā)明專利]行為識(shí)別方法、裝置及計(jì)算機(jī)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110372549.3
• 申請(qǐng)日: 2021-04-07
• 公開（公告）號(hào): CN113065474B
• 公開（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 蔡逸超;游華斌;黃睿;晏斐;張遠(yuǎn)來
• 申請(qǐng)（專利權(quán)）人: 泰豪軟件股份有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/82;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 張萌

1.一種行為識(shí)別方法，其特征在于，所述方法包括：

提取當(dāng)前幀圖像中各待測(cè)對(duì)象的骨骼關(guān)鍵點(diǎn)，其中，所述骨骼關(guān)鍵點(diǎn)至少包括手腕關(guān)鍵點(diǎn)、手肘關(guān)鍵點(diǎn)和肩部關(guān)鍵點(diǎn)；

根據(jù)骨骼關(guān)鍵點(diǎn)，從全部待測(cè)對(duì)象中查找手臂夾角小于夾角閾值的目標(biāo)對(duì)象，其中，手臂夾角為手肘關(guān)鍵點(diǎn)和肩部關(guān)鍵點(diǎn)構(gòu)成的向量與手肘關(guān)鍵點(diǎn)和手腕關(guān)鍵點(diǎn)構(gòu)成的向量之間的夾角；

獲取目標(biāo)對(duì)象的手部區(qū)域圖像，其中，手部區(qū)域圖像為包含手腕關(guān)鍵點(diǎn)及鄰接區(qū)域的圖像；

利用預(yù)先訓(xùn)練的行為識(shí)別模型識(shí)別每個(gè)目標(biāo)對(duì)象的手部區(qū)域圖像是否包含目標(biāo)物體，并輸出對(duì)應(yīng)所述當(dāng)前幀圖像中每個(gè)目標(biāo)對(duì)象的行為識(shí)別結(jié)果，其中，目標(biāo)物體包括香煙和手機(jī)中的至少一種，行為識(shí)別結(jié)果包括存在異常行為和不存在異常行為，存在異常行為包括吸煙行為、玩手機(jī)行為中的至少一種；

所述根據(jù)骨骼關(guān)鍵點(diǎn)，從全部待測(cè)對(duì)象中查找手臂夾角小于夾角閾值的目標(biāo)對(duì)象的步驟，包括：

從全部待測(cè)對(duì)象中提取完整的待測(cè)對(duì)象，其中，完整的待測(cè)對(duì)象為至少一側(cè)手部完整包含手腕關(guān)鍵點(diǎn)、手肘關(guān)鍵點(diǎn)及肩部關(guān)鍵點(diǎn)且對(duì)象尺度大于尺度閾值的待測(cè)對(duì)象，對(duì)象尺度為待測(cè)對(duì)象的全部骨骼關(guān)鍵點(diǎn)的外接矩形的最大邊長與圖像幀寬度的比值；

從全部完整的待測(cè)對(duì)象中查找手臂夾角小于夾角閾值的目標(biāo)對(duì)象。

2.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，所述行為識(shí)別模型的獲取方式包括：

獲取手部區(qū)域圖像樣本，其中，手部區(qū)域圖像樣本分為手腕關(guān)鍵點(diǎn)周邊區(qū)域包括目標(biāo)物體的第一類圖像樣本和手腕關(guān)鍵點(diǎn)周邊區(qū)域不包含目標(biāo)物體的第二類圖像樣本；

將所有手部區(qū)域圖像樣本輸入初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并保留每次訓(xùn)練得到的深度學(xué)習(xí)網(wǎng)絡(luò)模型；

對(duì)各深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行指標(biāo)評(píng)估，選取指標(biāo)值最高的深度學(xué)習(xí)網(wǎng)絡(luò)模型作為所述行為識(shí)別模型。

3.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，所述利用預(yù)先訓(xùn)練的行為識(shí)別模型識(shí)別每個(gè)目標(biāo)對(duì)象的手部區(qū)域圖像是否包含目標(biāo)物體，并輸出對(duì)應(yīng)所述當(dāng)前幀圖像中每個(gè)目標(biāo)對(duì)象的行為識(shí)別結(jié)果的步驟，包括：

若在目標(biāo)對(duì)象的手部區(qū)域圖像識(shí)別到香煙和/或手機(jī)，則確定所述目標(biāo)對(duì)象存在異常行為；

若未在目標(biāo)對(duì)象的手部區(qū)域圖像識(shí)別到香煙和手機(jī)，則確定所述目標(biāo)對(duì)象不存在異常行為。

4.根據(jù)權(quán)利要求3所述的行為識(shí)別方法，其特征在于，所述方法還包括：

統(tǒng)計(jì)待檢測(cè)視頻中預(yù)設(shè)數(shù)量的連續(xù)圖像中行為識(shí)別結(jié)果為存在異常行為的幀數(shù)量，其中，預(yù)設(shè)數(shù)量的連續(xù)圖像包括所述當(dāng)前幀圖像及與所述當(dāng)前幀圖像前向鄰接的連續(xù)多幀圖像；

若存在異常行為的幀數(shù)量與所述預(yù)設(shè)數(shù)量的比值大于或者等于預(yù)設(shè)閾值，則發(fā)出告警信號(hào)。

5.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，所述獲取目標(biāo)對(duì)象的手部區(qū)域圖像的步驟，包括：

以目標(biāo)對(duì)象的手腕關(guān)鍵點(diǎn)為中心，截取預(yù)設(shè)邊長的正方形區(qū)域作為手部區(qū)域圖像。

6.一種行為識(shí)別裝置，其特征在于，所述裝置包括：

提取模塊，用于提取當(dāng)前幀圖像中各待測(cè)對(duì)象的骨骼關(guān)鍵點(diǎn)，其中，所述骨骼關(guān)鍵點(diǎn)至少包括手腕關(guān)鍵點(diǎn)、手肘關(guān)鍵點(diǎn)和肩部關(guān)鍵點(diǎn)；

查找模塊，用于根據(jù)骨骼關(guān)鍵點(diǎn)，從全部待測(cè)對(duì)象中查找手臂夾角小于夾角閾值的目標(biāo)對(duì)象，其中，手臂夾角為手肘關(guān)鍵點(diǎn)和肩部關(guān)鍵點(diǎn)構(gòu)成的向量與手肘關(guān)鍵點(diǎn)和手腕關(guān)鍵點(diǎn)構(gòu)成的向量之間的夾角；

第一獲取模塊，用于獲取目標(biāo)對(duì)象的手部區(qū)域圖像，其中，手部區(qū)域圖像為包含手腕關(guān)鍵點(diǎn)及鄰接區(qū)域的圖像；

識(shí)別模塊，用于利用預(yù)先訓(xùn)練的行為識(shí)別模型識(shí)別每個(gè)目標(biāo)對(duì)象的手部區(qū)域圖像是否包含目標(biāo)物體，并輸出對(duì)應(yīng)所述當(dāng)前幀圖像中每個(gè)目標(biāo)對(duì)象的行為識(shí)別結(jié)果，其中，目標(biāo)物體包括香煙和手機(jī)中的至少一種，行為識(shí)別結(jié)果包括存在異常行為和不存在異常行為，存在異常行為包括吸煙行為、玩手機(jī)行為中的至少一種；

所述查找模塊還用于從全部待測(cè)對(duì)象中提取完整的待測(cè)對(duì)象，其中，完整的待測(cè)對(duì)象為至少一側(cè)手部完整包含手腕關(guān)鍵點(diǎn)、手肘關(guān)鍵點(diǎn)及肩部關(guān)鍵點(diǎn)且對(duì)象尺度大于尺度閾值的待測(cè)對(duì)象，對(duì)象尺度為待測(cè)對(duì)象的全部骨骼關(guān)鍵點(diǎn)的外接矩形的最大邊長與圖像幀寬度的比值；從全部完整的待測(cè)對(duì)象中查找手臂夾角小于夾角閾值的目標(biāo)對(duì)象。