[發明專利]一種3D人體動作標準性判識的方法

有效

• 申請號: 202010085665.2
• 申請日: 2020-02-11
• 公開（公告）號: CN111291687B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 紀剛;周萌萌
• 申請（專利權）人: 青島聯合創智科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/64
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 劉娜

1.一種3D人體動作標準性判識的方法，其特征在于，包括如下步驟：

(1)采用多個多目相機對人體動作進行圖像采集，遍歷圖像集合，求同一時間戳下，圖像的2D人體關節點位置；

(2)根據得到的所有多目相機下的2D人體關節點位置集合，進行多目相機2D關節點的信息融合，得到所有相機像素坐標系下的融合2D關節點位置；

(3)根據得到的所有相機像素坐標系下的融合2D關節點位置，計算3D人體關節點位置和關節點構成的邊信息，即3D人體姿態；

(4)根據最終計算出的3D人體姿態信息進行動作標準型判識；

所述步驟(1)具體如下：

給定相機集合Camera＝{C₁,C₂,...,C_i,...,C_a}，1≤i≤a，a表示多目相機的個數，且a≥2；多目相機采集的圖像數據為Ig＝{I₁,I₂,...,I_i,...,I_a}；I_i(x,y,c)為同一時間戳下，C_i相機采集的圖像樣本，其中，0≤x≤W-1，W表示圖像寬度，0≤y≤H-1，H表示圖像高度，c為輸入圖像的通道信息，且0≤c≤2；遍歷圖像集合Ig，求同一時間戳下，圖像I_i(x,y,c)的2D人體關節點位置，具體步驟如下：

(i)根據圖像I_i(x,y,c)執行高低分辨率融合網絡，分別求融合網絡的高低分辨率的特征響應矩陣；

定義其高分辨率子網絡特征響應矩陣為1≤i′≤N，N表示高分辨率子網絡特征層的數量，為高分辨率子網絡第i′層的特征響應子矩陣，0≤x_i′≤W′-1，W′＝W，W′表示高分辨率子網絡特征矩陣寬度，0≤y_i′≤H′-1，H′＝H，H′表示高分辨率子網絡特征矩陣長度；為特征矩陣的通道信息；

定義低分辨率子網絡特征響應矩陣集合為l1,l2分別表示兩個低分辨率子網絡結構，3≤i″≤N,7≤i″′≤N，與分別為兩個低分辨率子網絡的特征響應子矩陣；

0≤x_i″≤W″，W″＝W/2-1，W″表示第一個低分辨率子網絡特征矩陣寬度，

0≤y_i″≤H″,H″＝H/2-1，H″表示第一個低分辨率子網絡特征矩陣高度，

0≤x_i″′≤W″′,W″′＝W/4-1，W″′表示第二個低分辨率子網絡特征矩陣寬度，

0≤y_i″′≤H″′,H″′＝H/4-1，H″′表示第二個低分辨率子網絡特征矩陣高度；

分別為兩個低分辨率子網絡的通道信息；

當i″,i″′為偶數時，兩個低分辨率子網絡和通過反卷積操作與高分辨率子網絡融合，融合公式為：

為對通道進行反卷積的轉換矩陣，為對通道進行反卷積的轉換矩陣；

高分辨率子網絡的特征響應子矩陣的遞推公式為：

(ii)根據公式(3)計算的高分辨率子網絡的特征響應子矩陣求解輸出響應矩陣集合HeatMap_i＝{H_i,1,H_i,2,...,H_i,k,...,H_i.K}，1≤k≤K，K＝17，表示待求取的人體17個關節點的數量，然后對圖像I_i(x,y,c)中每個像素坐標位置評估是否為第k個關節點所在位置，H_i,k(x,y)表示第k個關節點所在第i個相機下的置信度矩陣，1≤k≤K：

為求解第k個關節點位置置信度矩陣的權重參數，為偏移量，表示融合網絡的第N層通道的特征響應子矩陣；

(iii)根據(ii)中計算的H_i,k(x,y)，1≤k≤K，得到的輸出響應矩陣集合HeatMap_i求解均方誤差距離：

其中，(μ_x,k,μ_y,k)為關節點k的真實像素坐標位置，σ_x,k,σ_y,k為目標輸出的方差，均取值1.5；

(iv)通過H_i,k(x,y)對求解梯度進行權值參數更新，表示第N層高分辨率子網絡特征層的數量，參數更新公式如下：

其中，τ為一個較小數，為0.1或0.01；

同理，進行高低分辨率子網絡特征層的權值參數更新；

(v)重復步驟(i)～(iv)，直至MSE_loss收斂或者滿足最大迭代次數iter，得到最終的輸出響應矩陣集合HeatMap_i＝{H_i,1,H_i,2,...,H_i,k,...,H_i,K}，H_i,k表示人體第k個關節點的位置置信度矩陣；

(vi)根據HeadMap_i得到相機C_i下圖像I_i(x,y,c)的2D關節點的位置，表示為：其中，表示人體關節點位置置信度矩陣H_i,k中最大值對應的像素坐標；

則所有多目相機下的人體2D關節點位置集合表示為，J＝{J₁,J₂,...,J_i,...,J_a}；

所述步驟(2)具體如下：

(i)對多個多目相機進行對齊操作：將世界坐標系轉換成相機坐標系，然后將相機坐標系轉換成像素坐標系，得到多目相機Camera＝{C₁,C₂,...,C_i,...,C_a}之間的轉換關系，從而實現多目相機的對齊操作；

(ii)計算多目相機的融合2D關節點位置，對相機C_i下的通過融合權值矩陣θ與步驟(1)中得到的J_j計算得融合后的J_i，1≤j≤a,j≠i，a表示多目相機數量，θ在相加極線上滿足高斯分布，θ～N(0,1)，其中，融合后的關節點位置表示為：

其中，表示多目相機C_i第k關節點的位置，θ表示多目相機C_j檢測到的第k關節點的位置的融合權值矩陣，是轉換到相機C_i像素坐標系下的像素坐標；

更新所有相機像素坐標系下的融合2D關節點位置：