[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的三維手部姿態(tài)估計方法

有效

• 申請?zhí)枺?/td>: 202110052293.8
• 申請日: 2021-01-15
• 公開（公告）號: CN112836594B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計）人: 李斌;劉宇馨;彭進業(yè);范建平;張薇;樂明楠;李紅穎
• 申請（專利權(quán)）人: 西北大學(xué)
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V40/20;G06V10/46;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 西安恒泰知識產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 李鄭建

1.一種基于神經(jīng)網(wǎng)絡(luò)的三維手部姿態(tài)估計方法，其特征在于，按下列步驟進行：

步驟一，數(shù)據(jù)預(yù)處理：首先將數(shù)據(jù)集中所需要的手部位置信息、二維關(guān)鍵點坐標、三維關(guān)鍵點坐標等信息用matlab處理成二值化信息，以便于后續(xù)減少后續(xù)網(wǎng)絡(luò)計算量與訓(xùn)練時間、運算成本；

步驟二，為了更好的估計圖像中的手的三維姿態(tài)，需要先獲得手部在圖像中的位置信息，用VGG16網(wǎng)絡(luò)前十層提取圖像特征；

所述手部在圖像中的位置信息的獲得方法是：

1)HandScore網(wǎng)絡(luò)首先通過VGG-16網(wǎng)絡(luò)的前十層提取圖像特征其中的信息包括圖像的顏色、紋理、形狀和空間關(guān)系的特征；

2)將編碼層提取到空間大小為W*H*512的信息進行上采樣；通過一兩通道步長為1的卷積層，得到圖像手的熱力圖信息Scoremap^W*H*2，其中通道一為背景信息得分圖，通道二為手的位置信息；

步驟三，將提取的圖像上采樣至原圖大小，網(wǎng)絡(luò)用softmax+crossentropy的損失函數(shù)優(yōu)化位置信息提取手部位置信息，即Scoremap；

步驟四，為了降低圖像背景對后續(xù)姿態(tài)估計任務(wù)性能的影響，將原始圖像信息與Scoremap信息融合，以一定程度模糊去除圖像背景；

步驟五，將步驟四的結(jié)果輸入實例分割網(wǎng)絡(luò)中，以數(shù)據(jù)集中二維關(guān)鍵點為作為其真實值，得到其關(guān)鍵點的置信圖；

步驟六，將置信圖使用argmax處理后得到其二維關(guān)鍵點坐標，輸入后續(xù)二維到三維映射網(wǎng)絡(luò)中，用堆疊的方法映射出關(guān)鍵點在三維場景下的姿態(tài)。