[發明專利]一種基于單張RGB圖像的雙流多尺度手部姿態估計方法

在審

• 申請號: 202110273215.0
• 申請日: 2021-03-11
• 公開（公告）號: CN113052030A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 王立春;馬勝蕾;李敬華;孔德慧;王少帆;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T3/40;G06F17/16
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.一種基于單張RGB圖像的雙流多尺度手部姿態估計方法，其特征在于包括以下步驟：

步驟1)提取單張圖像的特征并得到手部關節2D姿態初始坐標；

步驟2)利用雙分支網絡進行2D姿態估計，得到手部關節2D姿態準確坐標，所述的雙分支網絡具有結構相同的兩路分支；

步驟3)利用多尺度語義圖U-Net網絡估計手部關節的3D坐標，所述多尺度語義圖U-Net網絡具有結構相同的兩路分支，每個分支的多尺度語義圖U-Net網絡輸入均為步驟2)中一路分支得到的2D姿態坐標和相應的鄰接矩陣，輸出為手部關節的3D姿態；然后再將兩個分支得到的3D姿態進行加和求平均，最終輸出手部關節的3D坐標。

2.根據權利要求1所述的一種基于單張RGB圖像的雙流多尺度手部姿態估計方法，其特征在于：步驟1)具體如下，

利用Resnet50網絡對輸入的單張RGB圖像進行編碼，每個輸入圖像產生一個2048維的特征向量；

然后再使用一個額外全連接層生成手關節點的初始預測的二維坐標，同時將得到的特征向量與每個關節點的初始二維預測坐標拼接起來，生成每個節點具有F個特征的圖，即得到一個N×F的特征矩陣，其中N表示手部關節的數量，F表示特征維度。

3.根據權利要求1所述的一種基于單張RGB圖像的雙流多尺度手部姿態估計方法，其特征在于：步驟2)具體包括，

根據第一步中得到N×F的特征矩陣，N表示手部關節的數量，F表示特征維度，得到兩種圖結構，每種圖結構由一個鄰接矩陣表示，其中第一種圖結構稱為物理連接，用于表示手的物理關節之間的聯系，第二種圖結構稱為對稱連接，用于表示每個手指相同關節處之間的聯系；

將N×F的特征矩陣與物理連接的鄰接矩陣輸入到雙分支網絡中的一支，將N×F的特征矩陣與對稱連接的鄰接矩陣輸入到雙分支網絡中的另一支，每支網絡由相互串聯的3層語義圖卷積層組成。

4.根據權利要求3所述的一種基于單張RGB圖像的雙流多尺度手部姿態估計方法，其特征在于：所述的語義圖卷積公式如下：

X^(l+1)＝σ(WX^(l)ρ_i(M⊙A)) (2)

其中ρ_i是Softmax非線性變換，用于歸一化矩陣元素，⊙表示矩陣像素級運算，如果矩陣A中元素a_ij的值為1，那么返回矩陣M中m_ij元素的值，否則的話，返回值經過ρ_i操作得到近似0的值，矩陣A是節點的鄰接矩陣，表示各節點間的連接關系，σ表示ReLu非線性激活函數，表示可學習的加權矩陣，X⁰為網絡的輸入，即X⁰＝N×F為步驟1)得到的特征矩陣，輸出是準確估計的N個關節點的2D坐標。

5.根據權利要求3所述的一種基于單張RGB圖像的雙流多尺度手部姿態估計方法，其特征在于：對稱連接的鄰接矩陣的構建方法為：令G＝{V，E}表示一個圖，其中V是N個手關節點的集合，E表示邊；鄰接矩陣A，當兩個關節點之間相連時a_ij＝1否則a_ij＝0，i和j分別表示手的兩個關節；每個手指有三個關節，指尖處為第三關節，指尖之下的兩個關節分別為第二關節和第一關關節；相鄰手指相同關節之間相互連接；手掌有6個關節，其中一個為腕關節，腕關節與其余的5個掌指關節相連，相鄰掌指關節之間相連。