[發(fā)明專利]基于關(guān)節(jié)組間關(guān)聯(lián)建模的動作識別方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110506333.1
• 申請日: 2021-05-10
• 公開（公告）號: CN113065529B
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計）人: 高躍;陳自強
• 申請（專利權(quán)）人: 清華大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/20;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種基于關(guān)節(jié)組間關(guān)聯(lián)建模的動作識別方法，其特征在于，包括以下步驟：

步驟S10，獲取人體骨架關(guān)節(jié)特征；

步驟S20，針對所述人體骨架關(guān)節(jié)特征，迭代取任意兩個關(guān)節(jié)，計算所述任意兩個關(guān)節(jié)對應的關(guān)節(jié)組編號，根據(jù)關(guān)節(jié)組編號生成人體骨架關(guān)節(jié)組特征；

步驟S30，建立鄰接矩陣，所述鄰接矩陣用于表征以關(guān)節(jié)點作為圖節(jié)點的圖結(jié)構(gòu)，所述圖節(jié)點為關(guān)節(jié)組，獲取關(guān)節(jié)點對應的鄰接節(jié)點，對所述鄰接節(jié)點進行分類，根據(jù)不同類型的鄰接節(jié)點生成所述鄰接矩陣；

步驟S40，使用預先訓練的圖卷積網(wǎng)絡(luò)對人體骨架關(guān)節(jié)組特征進行計算，獲得最終特征；

步驟S50，根據(jù)所述圖結(jié)構(gòu)對所述最終特征進行全局池化層處理，并將處理后的最終特征通過全連接層映射到各個動作類別上，并獲取每個動作類別的概率；

步驟S60，根據(jù)關(guān)節(jié)分支和骨骼分支進行多分支融合以得到骨骼特征，基于所述每個動作的類別，根據(jù)所述人體骨架關(guān)節(jié)特征、所述人體骨架關(guān)節(jié)組特征和所述骨骼特征確定多個類別中的一個類別作為最終的動作分類識別結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，所述步驟S10包括以下步驟：

從數(shù)據(jù)集中獲取人體骨架關(guān)節(jié)特征，每個人體骨架關(guān)節(jié)特征的特征形狀為：

(C,T,M,V)

其中C是特征通道數(shù)，所述C的值為3，表示關(guān)節(jié)點的三維坐標(x,y,z)，T表示動作的幀數(shù)，M表示表演動作的人數(shù)，V表示人體關(guān)節(jié)點的數(shù)量。

3.如權(quán)利要求1所述的方法，其特征在于，所述步驟S20中根據(jù)關(guān)節(jié)組編號生成人體骨架關(guān)節(jié)組特征，應用如下公式計算每個關(guān)節(jié)組特征：

f(v_a)＝(x₁,y₁,z₁)

f(v_b)＝(x₂,y₂,z₂)

f(v_ab)＝{(x₁,y₁,z₁,x₂,y₂,z₂,C)|v_a,v_b∈V_o}

其中，C是關(guān)節(jié)組特征常數(shù)，定義為兩個子關(guān)節(jié)v_a和v_b是否在原始人體關(guān)節(jié)中物理相連，其值為0或1，最終得到所述關(guān)節(jié)組特征，其特征形狀為(C_group,T,M,V_group),其中C_group由上述公式定義可知，所述C_group的值為7，C_group是關(guān)節(jié)組的數(shù)量。

4.如權(quán)利要求1所述的方法，其特征在于，所述步驟S30中根據(jù)不同類型的鄰接節(jié)點生成所述鄰接矩陣，鄰接矩陣的建立用如下公式描述：

其中，A_k描述了關(guān)節(jié)組之間在初始狀態(tài)下的關(guān)聯(lián)，定義如下：鄰接矩表示了圖結(jié)構(gòu)的節(jié)點間的邊，元素表示節(jié)點v_i是否在v_j的第k鄰接節(jié)點子集中，

是一個正則化對角矩陣，α是一個用以避免空行存在的數(shù)值，在網(wǎng)絡(luò)訓練的過程中是固定的。