[發明專利]一種基于雙向LSTM的復雜環境下實時人體姿勢識別方法

在審

• 申請號: 202010024952.2
• 申請日: 2020-01-10
• 公開（公告）號: CN111259749A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 周意喬;徐昱琳
• 申請（專利權）人: 上海大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 陸聰明

1.一種基于雙向LSTM的復雜環境下實時人體姿勢識別方法，其特征在于，包括以下步驟：

步驟1：獲取人體的二維關鍵點坐標P＝(p₀,p₁,…,p_l)，其中l為關鍵點的數量，p_i＝(u_i,v_i)，其中，u_i,v_i分別是點i在x,y方向上的分量；

步驟2：構建基于雙向LSTM的分類器；

步驟3：根據步驟1中獲取的二維關鍵點缺失情況，判斷當前是否處于遮擋情況；

步驟4：當處于非遮擋情況時，根據步驟1中獲取的二維坐標P得到切割邊界框后二維坐標上標代表分割后的結果；

步驟5：當處于遮擋情況時，對二維坐標P進行高維數據處理；

步驟6：將步驟5中處理的特征向量送入步驟2中構建的分類器中得到遮擋情況下的人體姿勢。

2.根據權利要求1所述的基于雙向LSTM的復雜環境下實時人體姿勢識別方法，其特征在于，所述步驟1的具體步驟如下：

步驟1.1：使用視覺傳感器獲取視頻流中的每一幀二維圖像；

步驟1.2：將圖像送入遷移學習后的OpenPose模塊，得到人體關鍵點的二維坐標P。

3.根據權利要求1所述的基于雙向LSTM的復雜環境下實時人體姿勢識別方法，其特征在于，所述步驟2的具體步驟如下：

步驟2.1：構建雙向LSTM層；

步驟2.2：構建全連接層FL1與FL2；兩者之間加入批量歸一化層。

4.根據權利要求1所述的基于雙向LSTM的復雜環境下實時人體姿勢識別方法，其特征在于，所述步驟4的具體步驟如下：

步驟4.1：根據P點生成邊界框B，長與寬分別為B_w，B_h：

步驟4.2：根據邊界框的結構，對原始特征向量進行處理，處理后每個關節點為

其中

步驟4.3：將點P^*作為特征向量送入步驟2構建的分類器中得到非遮擋情況下的人體姿勢。

5.根據權利要求1所述的基于雙向LSTM的復雜環境下實時人體姿勢識別方法，其特征在于，所述步驟5的具體步驟如下：

步驟5.1：標定彩色圖像的內參，獲取內參矩陣R：

其中f代表相機的焦距，f_x,f_y對應相機在u,v方向的尺度因子，c對應相機主點所在的位置，c_x,c_y代表c在u,v方向的映射；

步驟5.2：標定彩色攝像頭與紅外攝像頭之間的外參，將彩色圖像和與之對應的深度圖像配準；深度圖中的深度集為D：

D＝(d_1,1,…,d_i,j)

其中i∈(1,…,w)，j∈(1,…,h)，w,h分別代表彩色圖像在x,y方向的分辨率；

步驟5.3：得到三維坐標點p_i：

p_i＝(x_i,y_i,z_i)

其中，x_i與y_i由得到的z_i與R的參數計算得出：

步驟5.4：根據三維坐標點構建軀干向量與角度特征；

將人體關節點人為劃分為5個區域，分別標記為軀干、右臂、左臂、右腿、左腿；構成特征向量v：

v＝(v_b,v_ra,v_la,v_rl,v_ll)

下標代表了不同身體區域的縮寫；以軀干向量v_b為例：

v_b＝(v_0,1,v_1,8,v_0,15,v_15,17,v_0,16,v_16,18)

對應的下標決定了組成該向量的關節點的索引以及向量的方向，以v_0,1為例：

v_0,1＝p₁-p₀＝(x₁-x₀,y₁-y₀,z₁-z₀)

同時獲取各區域空間平面的夾角，等同于各平面法向量夾角；例如軀干平面與右臂平面的夾角，需要得到這兩平面的法向量；位于軀干平面的向量v_0,8,v_0,17，法向量為nv_b，類似的位于右臂平面的向量v_2,3,v_3,4，法向量為nv_ra：

其中為v_0,8,v_0,17之間的夾角；

設定兩平面法向量夾角為θ：

設定平面內夾角為α，其下標代表了組成該角度向量所需關鍵點的索引；如α₁₂₃代表了該夾角為向量v_1,2與v_2,3的夾角；

步驟5.5：使用主成分分析的方法對數據進行降維處理；

計算得到經處理后生成的數據矩陣的協方差矩陣X＝{x₁,x₂,…x_n}，其中x_i為第i維數據；引入其散度矩陣S：

其中表示所有x_i的均值：

對于X中的每一個特征向量減去這一均值得到嶄新的數據集X_new，計算其協方差矩陣C：

其中為X_new的轉置；

對C進行SVD分解求得其特征值與特征向量：

C＝U·Λ·V

其中，矩陣U是由CC^T的特征值與特征向量單位化后得到，對C^TC進行同樣操作得到矩陣V，對于上述兩個矩陣的特征值求平方根，得到矩陣Λ；

選取特征值中最大的k個特征向量作為行向量組成新的特征矩陣P，最終將X_new轉換到得到降維后的特征向量：