[發(fā)明專利]一種基于RGB圖像的輕量化三維手部姿態(tài)估計(jì)方法

在審

• 申請?zhí)枺?/td>: 202211628762.7
• 申請日: 2022-12-17
• 公開（公告）號: CN115880724A
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 佘青山;陳炫琦;馬玉良;席旭剛
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06T3/40;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于RGB圖像的輕量化三維手部姿態(tài)估計(jì)方法，其特征在于：包括以下步驟：

步驟一：將多個sandglass殘差塊串聯(lián)堆疊，保證卷積所具有的歸納偏置特性，用于局部的特征建模；

步驟二：對特征進(jìn)行“展開”操作，再以Transformer塊結(jié)構(gòu)進(jìn)行全局的特征建模，再對特征進(jìn)行“折疊”，并進(jìn)行特征融合；

步驟三：在用于全局特征建模的Transformer塊中引入可分離自注意力機(jī)制，降低自注意力的計(jì)算復(fù)雜度；

步驟四：將特征圖通過卷積得到二維手部姿態(tài)熱圖，兩者拼接后通過卷積得到關(guān)節(jié)向量圖，再次拼接后再通過卷積得到三維手部姿態(tài)熱圖，最終實(shí)現(xiàn)三維手部姿態(tài)估計(jì)。

2.根據(jù)權(quán)利要求1所述的一種基于RGB圖像的輕量化三維手部姿態(tài)估計(jì)方法，其特征在于：所述步驟一具體包括：

引入了sandglass殘差塊結(jié)構(gòu)，其中主分支中的第一個和最后一個卷積層是保留通道數(shù)不變的深度可分離卷積層，模擬經(jīng)典的瓶頸塊結(jié)構(gòu)，在兩個深度可分離卷積之間使用兩個連續(xù)的逐點(diǎn)卷積堆疊，來先減少再增加通道數(shù)，因?yàn)?×1的逐點(diǎn)卷積會導(dǎo)致空間信息的減弱，將兩個3×3的卷積置于兩個1×1的卷積之外，并適當(dāng)?shù)貙蓚€深度可分離卷積應(yīng)用到更高維度的特征上，從而可以對更豐富的空間信息進(jìn)行編碼，以生成更具表現(xiàn)力的空間信息，

假設(shè)表示輸入特征，/表示輸出特征，該模塊可以采用如下公式表示：

其中，φ_i,p，φ_i,d分別表示第i個逐點(diǎn)卷積與深度卷積，確保深度卷積在高維空間處理并得到更豐富的特征表達(dá)。

3.根據(jù)權(quán)利要求1所述的一種基于RGB圖像的輕量化三維手部姿態(tài)估計(jì)方法，其特征在于：所述步驟二具體包括：

將sandglass塊輸出作為d維的輸入特征應(yīng)用一個n×n標(biāo)準(zhǔn)卷

積層，再用1×1的點(diǎn)卷積層產(chǎn)生特征X_L，讓模型具有空間歸納偏置的全局表示，將特征X_L展開為N個不重疊的patch，用表示，P＝wh，而/是patch的數(shù)量，h≤n和w≤n分別是patch的高度和寬度，根據(jù)式(3)，對于每個patch，即p∈{1,···,P}，通過Transformer對patch間的關(guān)系進(jìn)行編碼從而得到/

X_G(p)＝Transformer(X_U(p)),1≤p≤P(3)

可以折疊得到/使用逐點(diǎn)卷積將X_F投影到低維空間，并通過級聯(lián)操作與特征X組合，使用另一個n×n卷積層來融合這些連接的特征，對特征X_U(p)使用卷積對n×n區(qū)域的局部信息進(jìn)行編碼，X_G(p)對第p個位置的patch的全局信息進(jìn)行編碼，X_G中的每個像素都可以編碼來自X中所有像素的信息，總的有效感受野為H×W。