[發(fā)明專利]一種基于人體姿態(tài)估計(jì)和歷史信息的在線動(dòng)作識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110558936.6
• 申請(qǐng)日: 2021-05-21
• 公開（公告）號(hào): CN113486706B
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 馮偉;孫佳敏;邊存靈
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/40;G06V10/26;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程毓英

本發(fā)明涉及一種基于人體姿態(tài)估計(jì)和歷史信息的在線動(dòng)作識(shí)別方法，包含下列步驟：在線動(dòng)作識(shí)別模型的構(gòu)建和訓(xùn)練：對(duì)于輸入的視頻通過人體姿態(tài)估計(jì)算法提取骨架序列然后實(shí)現(xiàn)在線動(dòng)作識(shí)別，給出動(dòng)作識(shí)別結(jié)果類型，方法如下：采集原始動(dòng)作視頻數(shù)據(jù)：將姿態(tài)估計(jì)算法生成的3D骨架數(shù)據(jù)作為原始數(shù)據(jù)集；構(gòu)建高質(zhì)量動(dòng)作識(shí)別指導(dǎo)模塊；構(gòu)建低質(zhì)量魯棒動(dòng)作識(shí)別模塊；構(gòu)建在線動(dòng)作識(shí)別模塊。在線動(dòng)作識(shí)別模型進(jìn)行測(cè)試。

技術(shù)領(lǐng)域

本發(fā)明主要應(yīng)用于動(dòng)作識(shí)別領(lǐng)域中，其中涉及人工智能領(lǐng)域中的圖卷積神經(jīng)網(wǎng)絡(luò)技術(shù)、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)技術(shù)、知識(shí)蒸餾技術(shù)。可用于視頻處理領(lǐng)域中的人體動(dòng)作識(shí)別應(yīng)用。

背景技術(shù)

近些年伴隨著人工智能的飛速發(fā)展，人體動(dòng)作識(shí)別取得了巨大的進(jìn)步，特別是在智能安防監(jiān)控、人機(jī)交互、教育和智能醫(yī)療等應(yīng)用場(chǎng)景，發(fā)揮著越來越重要的作用，受到眾多學(xué)者和研究員的關(guān)注并且成為一個(gè)活躍的研究領(lǐng)域。

本發(fā)明涉及的背景技術(shù)有：

(1)人體姿態(tài)估計(jì)：人體姿態(tài)估計(jì)是通過姿態(tài)估計(jì)算法提取視頻中人體的運(yùn)動(dòng)動(dòng)作數(shù)據(jù)，提取的人體運(yùn)動(dòng)數(shù)據(jù)以3D骨架序列呈現(xiàn)，3D骨架序列是由數(shù)個(gè)人體關(guān)節(jié)點(diǎn)連接組成，每個(gè)關(guān)節(jié)點(diǎn)包含人體關(guān)節(jié)的空間坐標(biāo)數(shù)據(jù)，連續(xù)多幀的3D骨架序列可以簡(jiǎn)單高效的表征人體運(yùn)動(dòng)特征也就是動(dòng)作信息。人體姿態(tài)估計(jì)可以有效的幫助模型分類器對(duì)動(dòng)作識(shí)別進(jìn)行高精度的動(dòng)作識(shí)別。

(2)知識(shí)蒸餾算法：使用知識(shí)蒸餾方法能夠把模型的動(dòng)作表征能力遷移到目標(biāo)網(wǎng)絡(luò)模型(即魯棒動(dòng)作識(shí)別模型)中，把魯棒動(dòng)作識(shí)別模型用來初始化連續(xù)動(dòng)作識(shí)別模型，可以實(shí)現(xiàn)對(duì)于視頻中人體動(dòng)作在線識(shí)別，從而支持在線動(dòng)作識(shí)別任務(wù)。

(3)STGCN網(wǎng)絡(luò)：STGCN網(wǎng)絡(luò)在人體動(dòng)作識(shí)別任務(wù)上取得了很好的效果^[1]，是一種經(jīng)典應(yīng)用在基于人體骨架的行為識(shí)別網(wǎng)絡(luò)模型，其模型設(shè)計(jì)泛化能力強(qiáng)，能夠從空間和時(shí)間兩個(gè)方面對(duì)骨架序列進(jìn)行特征提取和利用從而提升人體動(dòng)作識(shí)別的準(zhǔn)確率。

相關(guān)文獻(xiàn)：

[1]Yan S,Xiong Y,Lin D.Spatial Temporal Graph Convolutional Networksfor Skeleton-Based Action Recognition[J].2018.

發(fā)明內(nèi)容

本發(fā)明提供了一種在線動(dòng)作識(shí)別的方法，通過對(duì)視頻中的每一幀圖像利用姿態(tài)估計(jì)算法進(jìn)行骨架坐標(biāo)提取，利用深度學(xué)習(xí)的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)模型，對(duì)骨架坐標(biāo)構(gòu)建骨架時(shí)空?qǐng)D，使用知識(shí)蒸餾方法將模型的動(dòng)作表征能力遷移到目標(biāo)網(wǎng)絡(luò)模型中，最后搭建連續(xù)動(dòng)作識(shí)別預(yù)測(cè)模型，把魯棒動(dòng)作識(shí)別模型用來初始化連續(xù)動(dòng)作模型，可以實(shí)現(xiàn)對(duì)于視頻中的人體動(dòng)作在線識(shí)別，從而支持在線的動(dòng)作識(shí)別任務(wù)。

本發(fā)明采用以下技術(shù)方案：

一種基于人體姿態(tài)估計(jì)和歷史信息的在線動(dòng)作識(shí)別方法，包含下列步驟：

(1)在線動(dòng)作識(shí)別模型的構(gòu)建和訓(xùn)練：對(duì)于輸入的視頻通過人體姿態(tài)估計(jì)算法提取骨架序列然后實(shí)現(xiàn)在線動(dòng)作識(shí)別，給出動(dòng)作識(shí)別結(jié)果類型，方法如下：

a)采集原始動(dòng)作視頻數(shù)據(jù)：通過人體姿態(tài)估計(jì)算法獲得3D骨架坐標(biāo)數(shù)據(jù),將姿態(tài)估計(jì)算法生成的3D骨架數(shù)據(jù)作為原始數(shù)據(jù)集；

b)構(gòu)建高質(zhì)量動(dòng)作識(shí)別指導(dǎo)模塊：對(duì)步驟a)提取的原始3D骨架數(shù)據(jù)進(jìn)行處理，構(gòu)建精準(zhǔn)動(dòng)作分割訓(xùn)練集V₁，主要用來訓(xùn)練教師網(wǎng)絡(luò)模型，教師網(wǎng)絡(luò)模型選擇STGCN網(wǎng)絡(luò)構(gòu)建，采用單標(biāo)簽的訓(xùn)練策略對(duì)教師網(wǎng)絡(luò)訓(xùn)練，最后得到一個(gè)高質(zhì)量動(dòng)作表征指導(dǎo)模型。

c)構(gòu)建低質(zhì)量魯棒動(dòng)作識(shí)別模塊：對(duì)原始數(shù)據(jù)集的3D骨架數(shù)據(jù)進(jìn)行處理，生成一個(gè)前文動(dòng)作訓(xùn)練集V₂，選擇STGCN網(wǎng)絡(luò)來搭建學(xué)生網(wǎng)絡(luò)模型，采用單標(biāo)簽訓(xùn)練策略在訓(xùn)練集V₂上訓(xùn)練，利用步驟b)生成的高質(zhì)量動(dòng)作表征指導(dǎo)模型使用知識(shí)蒸餾方法來指導(dǎo)學(xué)生網(wǎng)絡(luò)模型的訓(xùn)練，然后得到魯棒動(dòng)作識(shí)別模型。