[發(fā)明專利]一種基于時(shí)空上下文學(xué)習(xí)的手部姿態(tài)估計(jì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911235772.2
• 申請(qǐng)日: 2019-12-05
• 公開（公告）號(hào): CN111178142A
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計(jì)）人: 李璽;吳一鳴
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種基于時(shí)空上下文學(xué)習(xí)的手部姿態(tài)估計(jì)方法，其特征在于，包括以下步驟：

S1、獲取用于訓(xùn)練手部姿態(tài)估計(jì)的連續(xù)幀深度圖像數(shù)據(jù)集；

S2、在空間以及時(shí)間維度上使用空間網(wǎng)絡(luò)以及時(shí)間網(wǎng)絡(luò)分別建模對(duì)應(yīng)的上下文信息；

S3、根據(jù)輸入圖像使用融合網(wǎng)絡(luò)為時(shí)間空間模型的輸出進(jìn)行融合；

S4、建立手部姿態(tài)估計(jì)的預(yù)測模型；

S5、使用所述的預(yù)測模型對(duì)連續(xù)幀深度圖像進(jìn)行手部姿態(tài)估計(jì)。

2.如權(quán)利要求1所述的基于時(shí)空上下文學(xué)習(xí)的手部姿態(tài)估計(jì)方法，其特征在于，步驟S1中，獲取用于訓(xùn)練手部姿態(tài)估計(jì)的連續(xù)幀深度圖像數(shù)據(jù)集，包括N個(gè)訓(xùn)練視頻，每個(gè)訓(xùn)練視頻中含有連續(xù)幀深度圖像(X₁，...，X_T)_train，以及預(yù)先標(biāo)注的手部關(guān)節(jié)點(diǎn)位置(J₁，...，J_T)_train。

3.如權(quán)利要求2所述的基于時(shí)空上下文學(xué)習(xí)的手部姿態(tài)估計(jì)方法，其特征在于，步驟S2中，在空間以及時(shí)間維度上使用空間網(wǎng)絡(luò)以及時(shí)間網(wǎng)絡(luò)分別建模對(duì)應(yīng)的上下文信息具體包括：

S21、針對(duì)連續(xù)幀深度圖像(X₁，...，X_T)_train中的任意一幀深度圖像，先將圖像縮放到128×128尺寸，再對(duì)其隨機(jī)旋轉(zhuǎn)和翻轉(zhuǎn)，最后進(jìn)行歸一化使其縮放到-1到1之間，最終得到歸一化深度圖像(I₁，...，I_T)_train作為算法輸入，隨后按照深度值將歸一化深度圖像轉(zhuǎn)換為128×128×8的三維體素表達(dá)(V₁，...，V_T)_train后也作為算法輸入，并對(duì)(J₁，...，J_T)_train做與(X₁，...，X_T)_train對(duì)應(yīng)的旋轉(zhuǎn)和翻轉(zhuǎn)變換，得到

S22、為建?？臻g上下文信息，對(duì)任意一幀深度圖像I_t以及三維體素表達(dá)V_t進(jìn)行空間網(wǎng)絡(luò)操作F_spatio(·)，所述的空間網(wǎng)絡(luò)操作中，對(duì)I_t以及V_t均使用每一層加入ReLU激活函數(shù)的三層卷積操作以及最大池化操作進(jìn)行下采樣，分別得到特征以及隨后使用總層數(shù)為3的層級(jí)融合方法對(duì)兩個(gè)特征進(jìn)行融合，即：

m＝1，2

其中：φ_m，t表示第m層的融合特征，以及為第m層的全連接函數(shù)，以及均為第m層的全連接層參數(shù)；再使用一個(gè)全連接操作回歸手部關(guān)節(jié)點(diǎn)坐標(biāo)

將以上空間網(wǎng)絡(luò)操作形式化表達(dá)為：

其中：F_spatio(·)表示空間網(wǎng)絡(luò)操作，Θ_spatio為空間網(wǎng)絡(luò)中的參數(shù)；

S23、為建模時(shí)間上下文信息，對(duì)S21中得到的多幀深度圖像(I₁，...，I_T)_train，逐幀進(jìn)行時(shí)間網(wǎng)絡(luò)操作F_temp(·)，所述的時(shí)間網(wǎng)絡(luò)操作中，先使用每一層加入ReLU激活函數(shù)的三層卷積操作以及最大池化操作進(jìn)行下采樣，得到特征(ψ₁，...，ψ_T)，其中深度圖像I_t的特征ψ_t＝H(I_t；θ_c)，H(·)為卷積操作，θ_c為卷積參數(shù)；使用LSTM對(duì)得到的特征進(jìn)行時(shí)間維度的關(guān)聯(lián)建模，得到隱含層特征(h₁，...，h_T)，t時(shí)刻的隱含層特征h_t下式計(jì)算得到：

i_t＝σ(W_hi*h_t-1+W_xi*ψ_t+b_i)

f_t＝σ(W_hf*h_t-1+W_xf*ψ_t+b_f)

o_t＝σ(W_ho*h_t-1+W_xo*ψ_t+b_t)

c_t＝(f_t⊙c_t-1)+(i_t⊙tanh(W_hc*h_t-1+W_xc*ψ_t+b_c))

h_t＝o_t⊙tanh(c_t)

其中：i_t為t時(shí)刻輸入門的輸出，f_t為t時(shí)刻的遺忘門的輸出，o_t為t時(shí)刻輸出門的輸出，c_t為t時(shí)刻的最終記憶，W_hi、W_xi、W_hf、W_xf、W_ho、W_xo、W_hc、W_xc均表示權(quán)重，b_t、b_f、b_t、b_c均表示偏置；*和⊙分別表示矩陣乘法和矩陣對(duì)應(yīng)元素相乘操作，σ(·)表示sigmoid函數(shù)；再使用一個(gè)全連接操作對(duì)拼接的特征[ψ_t，h_t]進(jìn)行手部關(guān)節(jié)點(diǎn)坐標(biāo)的回歸；

將以上時(shí)間網(wǎng)絡(luò)操作形式化表達(dá)為：

其中：F_temp(·)表示時(shí)間網(wǎng)絡(luò)操作，Θ_temp為時(shí)間網(wǎng)絡(luò)中參數(shù)。