[發明專利]一種基于點云數據的人體行為識別方法

在審

• 申請號: 201910246695.4
• 申請日: 2019-03-29
• 公開（公告）號: CN109993103A
• 公開（公告）日: 2019-07-09
• 發明（設計）人: 吳秋霞;康力;許鴻斌;楊曉偉
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于點云數據的人體行為識別方法，其特征在于，包括以下步驟：

1)獲取基礎數據，包括深度圖數據、相機參數；

2)對數據做預處理，包括對深度圖進行平滑處理、深度圖到點云的轉換、對點云數據做歸一化處理；

3)把處理過后的數據輸入到網絡中進行行為識別。

2.根據權利要求1所述的一種基于點云數據的人體行為識別方法，其特征在于：在步驟1)中，所述深度圖數據是指通過深度圖相機采集到的數據，包括深度圖數據的分辨率、深度值；所述相機參數是指在采集數據時所使用的深度相機的內參數和外參數，相機內參數是與相機自身特性相關的參數，包括相機的焦距、像素大小，內參數包括射影變換本身的參數，相機的焦點到成像平面的距離，也就是焦距，以及從成像平面坐標系到像素坐標系的變換所得到的內參數矩陣K；

式中，f_x和f_y是與相機的焦距、像素的大小有關的內參參數；c_x,c_y是平移的距離，和相機成像平面的大小有關；相機外參數是在世界坐標系中的參數，包括相機的位置、旋轉方向，外參數包括相機坐標到世界坐標的轉換矩陣T；

式中，R是旋轉矩陣，t是平移向量。

3.根據權利要求1所述的一種基于點云數據的人體行為識別方法，其特征在于：在步驟2)中，對深度圖做平滑處理，從深度圖中得到點云數據，對得到的點云數據做歸一化處理，包括以下步驟：

2.1)使用雙邊濾波對深度圖數據做平滑處理：

其中，x是中心像素點，ξ是鄰域像素點，f(x)表示當前像素點的色彩，s(ξ,x)是表示和鄰域像素點ξ與中心像素點x之間的幾何距離的權重函數，即空間濾波器，c(f(ξ),f(x))是表示和鄰域像素點ξ與中心像素點x之間的色彩距離的權重函數，即色彩濾波器；

2.2)深度圖到點云數據的轉換算法如下：

其中，u，v為圖像坐標系下的任意坐標點；u₀，v₀分別為圖像的中心坐標；x_w，y_w，z_w表示世界坐標系下的三維坐標點；z_c表示相機坐標的z軸值，即目標到相機的距離；f_x和f_y是與相機的焦距，像素的大小有關的內參參數；R，T分別為外參矩陣的3×3旋轉矩陣和3×1平移矩陣；由于世界坐標原點和相機原點是重合的，即沒有旋轉和平移，所以：

相機坐標系和世界坐標系的坐標原點重合，因此相機坐標和世界坐標下的同一個物體具有相同的深度，即z_c＝z_w；于是公式進一步簡化為：

從以上的變換矩陣公式，計算得到圖像點[u,v]^T到世界坐標點[x_w,y_w,z_w]^T的變換公式：

2.3)點云數據的歸一化處理，以第一幀的點云數據的中心點為整個動作序列的原點：

{P′_t|t＝1,...,n}＝{P_t-d|t＝1,...,n}

其中，P′_t是平移之后的點云，P_t是原始點云，t表示當前幀數，n表示當前視頻總幀數，d表示平移向量；

把點云數據在Z軸上按比例縮放：

其中，z'是縮放之后的值，z是原始值，a是錨點，k是縮放比例。

4.根據權利要求1所述的一種基于點云數據的人體行為識別方法，其特征在于：在步驟3)中，所述網絡是一個端到端的深度神經網絡，由三部分串聯組成：用于從點云數據中提取姿態特征，即空間特征的PointNet；從姿態特征序列中提取時間特征的長短時記憶網絡；把提取到的時空特征映射到分類結果上的多層感知機。