[發明專利]一種基于超圖學習的多視角人體行為識別方法

在審

• 申請號: 202211440742.7
• 申請日: 2022-11-17
• 公開（公告）號: CN115830707A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 馬楠;汪成;梁曄;吳祉璇;陳小康
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06V10/774;G06V10/34;G06V10/40;G06N3/0464;G06N3/08
• 代理公司: 北京馳納南熙知識產權代理有限公司 11999
• 代理人: 馬棟敏

1.一種基于超圖學習的多視角人體行為識別方法，包括從P個視角獲取視頻數據，其特征在于，還包括以下步驟：

步驟1：對所述視頻數據進行預處理；

步驟2：根據關節點信息構建空間超圖；

步驟3：根據關節點信息構建時間超圖；

步驟4：使用超圖神經網絡對所述空間超圖和所述時間超圖進行特征學習；

步驟5：提取超圖所表示的高階信息，進行人體動作的行為識別。

2.如權利要求1所述的基于超圖學習的多視角人體行為識別方法，其特征在于，所述預處理的方法包括將視頻數據分割成N幀，通過Openpose提取每一幀的關節點信息，以關節點坐標x和y存儲，保存為json文件，根據關節點信息構建空間超圖和時間超圖。

3.如權利要求2所述的基于超圖學習的多視角人體行為識別方法，其特征在于，所述空間超圖是指以關節點為頂點，將人體分為軀干、左手、右手、左腿、右腿五個部位，同一時刻不同視角中相同部位的關節點用一條超邊連接，構建的一個按照肢體構圖策略空間超圖實現關節點空間信息聚合，其中，表示空間超圖的頂點集，ε^spa表示其超邊集，W^spa表示超邊集中每個超邊的權重，是一個權值矩陣。

4.如權利要求3所述的基于超圖學習的多視角人體行為識別方法，其特征在于，所述空間超圖的構建方法包括以下子步驟：

步驟21：將每個空間超圖的初始頂點特征初始化為特征矩陣X_n，矩陣的每一行為人體關節點的坐標；

步驟22：生成第n個空間超圖

步驟23：根據頂點集和超邊集構造關聯矩陣；

步驟24：計算第n個空間超圖中頂點的度和第n個空間超圖中的度其中，表示計算第n個空間超圖中頂點度的函數，表示計算第n個空間超圖中超邊度的函數，表示第p個視角第n幀中第i個關節點，表示第n個空間超圖中的第m個超邊；

步驟25：利用高階信息對網絡進行優化，關聯矩陣經過拉普拉斯變換生成了拉普拉斯矩陣

5.如權利要求4所述的基于超圖學習的多視角人體行為識別方法，其特征在于，所述第n個空間超圖的計算公式為

其中，表示第n個空間超圖的頂點集，表示第n個空間超圖的超邊集，表示第n個空間超圖中每個超邊的權重，n＝1,2，…，N。

6.如權利要求5所述的基于超圖學習的多視角人體行為識別方法，其特征在于，所述步驟23包括第n個空間超圖的關聯矩陣表示第n個空間超圖的拓撲結構，若頂點存在某一超邊中，則矩陣中對應的元素為1，否則為0。

7.如權利要求6所述的基于超圖學習的多視角人體行為識別方法，其特征在于，每個空間超圖的關聯矩陣定義為：

其中，表示第p個視角第n幀中第i個關節點，表示第n個空間超圖中的第m個超邊，其中m＝1，2，…，M，M表示一個空間超圖中超邊的數量。

8.如權利要求7所述的基于超圖學習的多視角人體行為識別方法，其特征在于，所述步驟24包括計算第n個空間超圖中頂點的度計算公式為

其中，是超邊的權重向量。

9.如權利要求8所述的基于超圖學習的多視角人體行為識別方法，其特征在于，所述步驟24還包括計算第n個空間超圖中超邊的度計算公式為：

其中，和分別表示第n個空間超圖中超邊度和頂點度的對角矩陣。

10.如權利要求9所述的基于超圖學習的多視角人體行為識別方法，其特征在于，所述拉普拉斯矩陣的計算公式為

其中，表示第n個空間超圖中頂點度構成的對角矩陣的逆開二次方根，表示第n個空間超圖中超邊度構成的對角矩陣的逆。