[發(fā)明專利]一種基于TP-STG框架的人體動(dòng)作識(shí)別方法

有效

• 申請?zhí)枺?/td>: 201811328308.3
• 申請日: 2018-11-09
• 公開（公告）號(hào): CN109492581B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 宮法明;嵇曉峰;馬玉輝;宮文娟
• 申請（專利權(quán)）人: 中國石油大學(xué)（華東）
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/764
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于TP?STG框架的人體動(dòng)作識(shí)別方法，該方法包含：以視頻信息作為輸入，將先驗(yàn)知識(shí)加入SVM分類器，提出后驗(yàn)判別準(zhǔn)則以去除非人員目標(biāo)；通過目標(biāo)定位與檢測算法分割出人員目標(biāo)，并以目標(biāo)框和坐標(biāo)信息的方式輸出，為人體關(guān)鍵點(diǎn)檢測提供輸入數(shù)據(jù)；利用改進(jìn)的姿態(tài)識(shí)別算法進(jìn)行身體部位定位和關(guān)聯(lián)程度分析以提取到全部人體關(guān)鍵點(diǎn)信息，形成關(guān)鍵點(diǎn)序列；通過動(dòng)作識(shí)別算法在關(guān)鍵點(diǎn)序列上構(gòu)建時(shí)空圖，對其應(yīng)用于多層時(shí)空圖卷積操作，并由Softmax分類器進(jìn)行動(dòng)作分類，實(shí)現(xiàn)復(fù)雜場景下的人體動(dòng)作識(shí)別。本發(fā)明的方法首次結(jié)合海洋平臺(tái)的實(shí)際場景，提出的TP?STG框架首次嘗試使用目標(biāo)檢測、姿態(tài)識(shí)別和時(shí)空圖卷積的方法來識(shí)別海上鉆井平臺(tái)上的工人活動(dòng)。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺與圖像處理領(lǐng)域，涉及一種基于TP-STG框架的人體動(dòng)作識(shí)別方法。

背景技術(shù)

隨著監(jiān)控?cái)z像頭的普及和廣泛應(yīng)用，海量的視頻數(shù)據(jù)給人工識(shí)別帶來了巨大的壓力，采用人工模式對視頻數(shù)據(jù)進(jìn)行分析研判，監(jiān)控人員的人力、經(jīng)驗(yàn)和分析能力瓶頸制約了智能行為判別應(yīng)用的整體效能。近年來，隨著研究的不斷推進(jìn)，人體動(dòng)作識(shí)別的研究取得了一定的進(jìn)展。傳統(tǒng)的方法以模板匹配、三維分析和時(shí)間序列這三種方法最為常見，但是計(jì)算量比較大，易受噪聲的干擾，缺乏魯棒性，且對動(dòng)作行為模式整體性的考慮和全局性的分析不足，提取到的特征少而簡單，導(dǎo)致識(shí)別的準(zhǔn)確率較低。

以往的人體動(dòng)作識(shí)別算法在單一特定場景下效果較突出，但大多數(shù)人體動(dòng)作識(shí)別的算法只適用于簡單場景，受環(huán)境因素的影響非常大。當(dāng)傳統(tǒng)算法應(yīng)用于復(fù)雜場景中時(shí)由于受到雜亂背景等因素的影響，很難正確檢測到人體動(dòng)作特征，識(shí)別效果急劇下降，復(fù)雜場景下的人體動(dòng)作識(shí)別成為了一個(gè)亟待解決的難題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于TP-STG框架的人體動(dòng)作識(shí)別方法，該方法解決了現(xiàn)有技術(shù)對復(fù)雜場景中人體動(dòng)作識(shí)別效果差且誤差大的問題，能夠用于復(fù)雜場景下的人體動(dòng)作識(shí)別，對動(dòng)態(tài)場景中人員進(jìn)行目標(biāo)定位和姿態(tài)識(shí)別與估計(jì)，實(shí)現(xiàn)圖像中人員目標(biāo)動(dòng)作的精準(zhǔn)識(shí)別。

為了達(dá)到上述目的，本發(fā)明提供了一種基于TP-STG框架的人體動(dòng)作識(shí)別方法，該方法包含：

S100，以視頻信息作為輸入，將先驗(yàn)知識(shí)加入SVM分類器，提出后驗(yàn)判別準(zhǔn)則以去除非人員目標(biāo)；

S200，通過目標(biāo)定位與檢測算法分割出人員目標(biāo)，并以目標(biāo)框和坐標(biāo)信息的方式輸出，為人體關(guān)鍵點(diǎn)檢測提供輸入數(shù)據(jù)；

S300，利用改進(jìn)的姿態(tài)識(shí)別算法進(jìn)行身體部位定位和關(guān)聯(lián)程度分析以提取到全部人體關(guān)鍵點(diǎn)信息，形成關(guān)鍵點(diǎn)序列；

S400，通過動(dòng)作識(shí)別算法在關(guān)鍵點(diǎn)序列上構(gòu)建時(shí)空圖，對其應(yīng)用于多層時(shí)空圖卷積操作，并由Softmax分類器進(jìn)行動(dòng)作分類，實(shí)現(xiàn)復(fù)雜場景下的人體動(dòng)作識(shí)別。

其中，在所述的步驟S100中，針對具體場景下的環(huán)境特點(diǎn)，匹配適合該場景下的先驗(yàn)知識(shí)。

優(yōu)選地，所述的目標(biāo)定位與檢測算法包括：

S210，通過數(shù)據(jù)預(yù)處理將視頻數(shù)據(jù)轉(zhuǎn)換為圖像數(shù)據(jù)，并進(jìn)行樣本標(biāo)簽化操作，作為算法的輸入數(shù)據(jù)；

S211，把輸入圖像分成N*N個(gè)柵格，通過特征提取對每個(gè)柵格都預(yù)測r個(gè)邊界框，如果一個(gè)物體的中心落在一個(gè)邊界框內(nèi)，那么這個(gè)柵格就負(fù)責(zé)檢測這個(gè)物體；

S212，在圖像上運(yùn)行單個(gè)卷積網(wǎng)絡(luò)得到邊界框的置信度得分計(jì)算，這些置信度分?jǐn)?shù)反映了邊界框中包含目標(biāo)的可信程度以及目標(biāo)在預(yù)測框中的準(zhǔn)確性；

S213，通過增加邊界框坐標(biāo)預(yù)測的損失計(jì)算，并減少對不包含目標(biāo)邊界框的置信度的預(yù)測損失，防止模型早期發(fā)散和不穩(wěn)定；

S214，將邊界框?qū)挾群透叨劝凑找欢ū壤龤w一化，使得它們落在0和1之間，得到最終預(yù)測的目標(biāo)類別概率和邊界框坐標(biāo)信息。