[發(fā)明專利]一種基于數(shù)據(jù)融合的人體軌跡相似行為識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010772393.3
• 申請(qǐng)日: 2020-08-04
• 公開（公告）號(hào): CN112084852B
• 公開（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 黃疏桐;黃倩;李興
• 申請(qǐng)（專利權(quán)）人: 河海大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/764;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 曹佩佩

本發(fā)明公開了一種基于數(shù)據(jù)融合的人體軌跡相似行為識(shí)別方法，屬于信息數(shù)據(jù)處理技術(shù)領(lǐng)域，包括以下步驟：研究行為特點(diǎn)選取主要運(yùn)動(dòng)節(jié)點(diǎn)，計(jì)算主要運(yùn)動(dòng)節(jié)點(diǎn)兩兩之間的結(jié)構(gòu)向量并作為骨骼特征；根據(jù)主要運(yùn)動(dòng)節(jié)點(diǎn)的傳感器加速度與傳感器角速度數(shù)據(jù)計(jì)算線性加速度數(shù)據(jù)，對(duì)線性加速度數(shù)據(jù)進(jìn)行加窗處理，提取每個(gè)窗口內(nèi)數(shù)據(jù)的時(shí)域特征作為線性加速度特征；對(duì)骨骼特征與線性加速度特征進(jìn)行特征處理，包括特征長(zhǎng)度歸一化、特征大小歸一化與特征降維；將骨骼特征與線性加速度特征分別送入支持向量機(jī)中進(jìn)行分類，并使用權(quán)重分配方法對(duì)兩種分類結(jié)果進(jìn)行決策融合得到最終識(shí)別結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬于信息數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種基于數(shù)據(jù)融合的人體軌跡相似行為識(shí)別方法。

背景技術(shù)

人體行為識(shí)別是人工智能中最熱門的研究方向之一，在視頻跟蹤、運(yùn)動(dòng)分析、輔助醫(yī)療等領(lǐng)域都有著廣泛的應(yīng)用。根據(jù)數(shù)據(jù)類型的不同，人體行為識(shí)別主要可以分為兩類：基于視覺傳感器數(shù)據(jù)的人體行為識(shí)別研究與基于可穿戴力學(xué)傳感器數(shù)據(jù)的人體行為識(shí)別研究。人體行為的視覺傳感器數(shù)據(jù)主要包括人體運(yùn)動(dòng)時(shí)的彩色圖像數(shù)據(jù)、深度圖數(shù)據(jù)以及由深度圖衍生的骨骼信號(hào)?？纱┐髁W(xué)傳感器數(shù)據(jù)主要為人體部位的加速度與角速度數(shù)據(jù)。

盡管人體行為識(shí)別的研究已經(jīng)得到了長(zhǎng)足的發(fā)展，但依然面臨著許多問題，特別是在識(shí)別具有相似運(yùn)動(dòng)軌跡的人體行為方面。首先完整的人體行為是由空間信息與時(shí)序信息共同構(gòu)成的，現(xiàn)有的人體行為方法多側(cè)重于對(duì)人體運(yùn)動(dòng)的空間信息的捕獲而忽略人體運(yùn)動(dòng)的時(shí)序信息。從而造成了在分辨具有相似空間軌跡行為時(shí)的錯(cuò)判現(xiàn)象。其次，現(xiàn)有的表征人體三維骨骼數(shù)據(jù)的方式無法充分利用骨骼數(shù)據(jù)的空間信息；現(xiàn)有的人體行為識(shí)別研究由于直接對(duì)傳感器加速度提取時(shí)頻域特征表征人體行為，因受地球引力影響，無法精確的描述人體運(yùn)動(dòng)的時(shí)序信息。

綜上所述，現(xiàn)有的人體行為方法主要存在的問題是無法充分利用人體運(yùn)動(dòng)數(shù)據(jù)的時(shí)空信息。因此設(shè)計(jì)一種可克服上述問題的基于骨骼數(shù)據(jù)與加速度數(shù)據(jù)融合的人體軌跡相似行為識(shí)別的技術(shù)是亟需解決的問題。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)中的問題，本發(fā)明提供了一種基于數(shù)據(jù)融合的人體軌跡相似行為識(shí)別方法，融合了空間信息占優(yōu)的人體三維骨骼數(shù)據(jù)與時(shí)序信息占優(yōu)的加速度數(shù)據(jù)，全面地描述了人體行為的時(shí)空特性，提高了人體相似軌跡行為的識(shí)別精度。

一種基于數(shù)據(jù)融合的人體軌跡相似行為識(shí)別方法，具體包括以下步驟：

步驟1，研究行為特點(diǎn)選取主要運(yùn)動(dòng)節(jié)點(diǎn)，計(jì)算主要運(yùn)動(dòng)節(jié)點(diǎn)兩兩之間的結(jié)構(gòu)向量并作為骨骼特征；

步驟2，根據(jù)主要運(yùn)動(dòng)節(jié)點(diǎn)的傳感器加速度與傳感器角速度數(shù)據(jù)計(jì)算線性加速度數(shù)據(jù)，對(duì)線性加速度數(shù)據(jù)進(jìn)行加窗處理，提取每個(gè)窗口內(nèi)數(shù)據(jù)的時(shí)域特征作為線性加速度特征；

步驟3，對(duì)骨骼特征與線性加速度特征進(jìn)行特征處理，包括特征長(zhǎng)度歸一化、特征大小歸一化與特征降維；

步驟4，將骨骼特征與線性加速度特征分別送入支持向量機(jī)中進(jìn)行分類，并使用權(quán)重分配方法對(duì)兩種分類結(jié)果進(jìn)行決策融合得到最終識(shí)別結(jié)果。

作為本發(fā)明一種基于數(shù)據(jù)融合的人體軌跡相似行為識(shí)別方法的進(jìn)一步優(yōu)選方案，所述步驟1具體如下，對(duì)三維骨骼數(shù)據(jù)進(jìn)行特征提取，得到骨骼特征包括：根據(jù)所研究行為的特點(diǎn)，從25個(gè)關(guān)節(jié)點(diǎn)中選取主要的運(yùn)動(dòng)節(jié)點(diǎn)；計(jì)算選取的主要運(yùn)動(dòng)節(jié)點(diǎn)兩兩之間的結(jié)構(gòu)向量作為全關(guān)聯(lián)結(jié)構(gòu)向量特征。

作為本發(fā)明一種基于數(shù)據(jù)融合的人體軌跡相似行為識(shí)別方法的進(jìn)一步優(yōu)選方案，在步驟2中，對(duì)線性加速度數(shù)據(jù)進(jìn)行特征提取，得到線性加速度特征包括：將主要運(yùn)動(dòng)節(jié)點(diǎn)的線性加速度數(shù)據(jù)進(jìn)行加窗處理，窗口長(zhǎng)度為256個(gè)數(shù)據(jù)點(diǎn)，相鄰窗口重疊半個(gè)窗口長(zhǎng)度；對(duì)每個(gè)窗口的線性加速度數(shù)據(jù)提取多種時(shí)域特征構(gòu)成特征向量。