[發明專利]一種用于人體行為識別的三維骨架關鍵幀選擇方法

有效

• 申請號: 202011608049.7
• 申請日: 2020-12-30
• 公開（公告）號: CN112686153B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 陳皓;潘躍凱;張凱倫
• 申請（專利權）人: 西安郵電大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/764;G06V10/34;G06N3/006
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種針對人體三維骨架用于行為識別的關鍵幀選擇方法，本發明屬于計算機視覺與模式識別領域。其步驟為：首先，通過深度傳感器或姿態估計算法從視頻圖像中獲取人體三維骨架關節數據流；其次，進行姿態特征的提取并根據各身體部位運動的動量變化確定序列中的拐點幀；然后，將姿態特征向量輸入到融合域信息和關鍵幀數目的關鍵幀選擇模型中獲得關鍵幀序列。該模型采用二進制編碼，以拐點幀作為種群初始化標識，采用多目標二進制差分算法進行關鍵幀編碼優化。本發明所提取的關鍵幀序列具有較強的運動概括能力，且關鍵幀數目根據行為復雜程度可自適應調節，這使得優化產生的關鍵幀序列在人體行為識別中可獲得較高的準確率。

技術領域

本發明屬于計算機視覺和模式識別領域，具體涉及一種基于三維骨架特征進行人體行為識別的關鍵幀選擇方法，所述方法能夠對不同復雜度的行為自適應的提取不同數量的關鍵幀序列用于分類器的計算，此方法具有較強的運動概況能力，在行為識別過程中可得到較高準確率。

背景技術

人體行為分析的主要研究內容是分析視頻中人的行為，通過采集目標人體的行為信號，對行為類別進行分類識別。近年來，人體行為識別逐漸成為計算機視覺領域中的熱點研究問題，在公共安防、人機交互、體育運動和醫療保健等領域有著廣泛的應用前景和潛在的經濟價值。

目前人體行為識別的研究根據研究數據的不同可以分為基于骨架關節點特征的行為識別和非骨架特征的行為識別，其中非骨架特征的行為識別主要基于傳統圖像數據。隨著深度傳感器的發展與普及，使得獲取高精度三維骨架關節點信息變得簡單方便，同時骨架姿勢對行為的描述有其內在優勢，能夠對人體姿態和運動狀態準確描述而且不受背景及光照等因素的影響?；谌S骨架關節點特征的行為識別的方法中，大部分研究都是處理整個行為序列，但是并非序列中的所有幀都對行為識別有意義，故關鍵幀的有效選擇不僅能減少數據的冗余、降低計算復雜度，而且可更有效對行為特征進行表達。聚類是進行關鍵幀選擇的常用方法，此類方法對運動的描述有很強概括能力，但是在聚類過程中沒有考慮到數據的具體運動意義，在聚類空間中間隔一定距離的幀可能會被聚到同一類，忽略了運動的時序性，因此容易導致對運動分析的失真，且聚類個數需要人工指定，不易做到自動處理。

發明內容

針對現有行為識別關鍵幀提取存在的問題，本文發明了一種針對三維骨架關節點特征進行行為識別的關鍵幀選擇方法，在關鍵幀提取過程中本發明能夠充分保證幀間的時序性，采用二進制編碼的多目標差分提取的關鍵幀有較強的運動概括能力，且關鍵幀數目根據行為復雜程度自適應調節。為此，需要解決的關鍵技術問題包括：姿態特征的提?。粌灮瘑栴}的建立和求解；解碼后關鍵幀序列的生成與和行為分類識別的計算。為實現上述目的，本發明的具體技術方案如下：

一種針對人體三維骨架行為識別的關鍵幀選擇優化方法，所述方法包括以下步驟：

步驟1：三維骨架關節點數據的讀取。具體為：

通過深度傳感器或姿態估計算法從視頻圖像中獲取三維骨架關節數據，將行為序列按照以下結構讀取，一個行為序列中包含T幀，每幀中提供N個關節點的位置坐標，那么該行為序列的關節位置矩陣可以表示為：

其中，p_tn表示第t幀中第n個關節點，p_tn＝(x_tn,y_t,nz_t)，t∈{1,2,...,T}，n∈{1,2,...,N}，x_tn,y_tn,z_tn分別表示該關節點關節點的x軸、y軸和z軸的坐標。

步驟2：姿態特征的提取。對每一幀計算其歸一化特征向量，具體為：