[發明專利]一種基于深度圖像超像素聯合特征的人體姿態估計方法

有效

• 申請號: 201711395472.1
• 申請日: 2017-12-21
• 公開（公告）號: CN108154104B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 孔德慧;張雯暉;王少帆;王玉萍;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.一種基于深度圖像超像素聯合特征的人體姿態估計方法，其特征在于，包括以下步驟：

步驟(1)μSLIC超像素劃分

采用帶權值μ的簡單線性迭代聚類μSLIC的方法來對深度圖進行超像素操作，分為兩個階段：首先初始化階段，對于深度圖像I，把深度空間(u，v，d(u，v))轉換獲得對應的三維點云空間(x，y，z)，并把深度圖像按δ×δ網格均勻劃分為包含N_s個種子，把網格內的像素點添加到以種子點為中心的聚類中，并根據聚類中所有像素點的幾何中心更新種子點的新位置；然后是迭代階段：對于所有種子點，在其3δ×3δ的鄰域范圍內，根據距離Ds來度量像素與種子點的距離，把像素歸到離其距離最近的種子點聚類中，并更新產生N_s個種子點的新位置，迭代以上步驟直到整個過程收斂或到達最大迭代步數N_i；

步驟(2)SDDF+SGDF超像素聯合特征的人體部位分割

采用基于超像素深度差特征SDDF與超像素測地距離特征SGDF的聯合特征SDDF+SGDF，對于一組以超像素χ_s的幾何中心為圓心，半徑Θ的圓形范圍內隨機均勻采樣得到的一組偏移量在圖像I上，聯合N_SDDF個SDDF的值f_θ和N_SGDF個SGDF的值g_θ，得到關于超像素χ_s的維度為N_SDDF+N_SGDF的特征：

1)基于超像素的深度差特征f_θ：對于深度圖I中分割好的一個超像素Xs，在其幾何中心的半徑為Θ的圓形范圍內，通過隨機均勻采樣預先生成的一個偏移量θ，其深度差特征值為：

其中，d_I(·)表示取某個像素位置的深度值；

2)基于超像素的測地距離特征g_θ：首先根據圖像中分割好的包含前景的超像素構成一個無向圖的結構，其中頂點就是這些前景超像素；然后根據兩個規則決定是否在頂點間添加邊，①假如兩個超像素χ_i和χ_j有像素直接相鄰，且相鄰像素深度的差的絕對值小于δ_d，則在圖中添加一條關于兩個超像素的邊，邊的權值：

為兩個超像素中心的歐式距離；②對于經過第一個規則仍然沒有邊與其他頂點相連接的離群點χ_i，存在與χ_i距離最小的一個超像素χ_c＝argmin_xdist(χ_i，χ)，添加與超像素χ_c權值為dist(χ_i，χ_c)的一條邊；對構造好的連通無向圖應用Floyd-WarshaII算法，則可以計算出所有超像素相互間的最短距離，

對于與深度差特征一樣隨機得到的一個偏移量θ，超像素χ_s的測地距離特征值表示為：

其中，SF_I(X)表示像素X在圖像中所屬的超像素，d_geodesic表示在之前的無向圖結構上兩個頂點間的最短距離，即認為是超像素集合中的測地距離；

3)超像素的隨機決策森林分類：對于超像素的聯合特征F_I(X)應用隨機決策森林來進行分類，

首先訓練生成N_t棵樹組成的森林，在隨機決策森林的訓練過程中，對于每個分裂節點都需要計算其信息熵和信息增益，一個包含采樣點訓練集合S的節點的信息熵為：

其中l是要分類的部位，p(l|S)是集合S中分類為l的概率，隨機決策森林算法要選取能夠取得最大信息增益的劃分，這樣一個節點的劃分P＝{P_left，P_right}，把該節點包含的訓練采樣集合S劃分為{S_left，S_right}，該劃分的信息增益定義為：

InfGain(S，P)＝H(S)-H(S|P)＝H(S)-p_leftH(S_left)-p_rightH(S_right)；

在隨機決策森林訓練完成之后，圖像I通過森林中的一顆樹t可以得到超像素χ分類為部位l的概率p_t(l|I，χ)，整個森林得到選取最大概率的部位作為超像素的分類，并作為超像素所包含像素的分類結果；

步驟(3)基于人體部位聚類特征的人體姿態稀疏回歸

通過隨機決策森林對超像素進行分類后，對所有前景像素進行了分類，采用從部位到關節映射的特征，并通過稀疏回歸的方法映射出骨架點的位置；

1)基于分部位的聚類特征的人體姿態表示：對于一個部位l，對其進行K均值聚類，獲得到N_k個聚類點并根據該部位與預設的部位的距離排序，得到向量然后把所有前景像素的幾何中心c₀與所有N_p個部位聯合起來，得到新的關于基于部位聚類特征的人體姿態表達：

2)稀疏回歸：人體姿態估計的目標就是獲得N_J個三維骨架關節點的位置y，假設有N幅訓練圖片，已知其關節點信息和部位特征其中N_q是部位特征點的個數，且i＝1，...，N，同時定義回歸矩陣其中把特征c映射到第j個骨架點(j＝1，...，N_q)，那么這個稀疏回歸模型就是y_i≈Ac_i，然后對于投影矩陣A可以通過下面N_J個獨立的優化得到：

其中y_i(3j-2：3j)表示向量y_i從第(3j-2)維到第(3j)維的子向量，通過訓練出的矩陣A和部位聚類特征c，使用線性稀疏回歸得到骨架點的三維位置y＝Ac。

2.如權利要求1所述的基于深度圖像超像素聯合特征的人體姿態估計方法，其特征在于，步驟(1)中，像素X_k(x_k，y_k，z_k)與第i個聚類中心點距離度量D_s被設計為：

其中，μ為超像素中調整緊致性的權重。