[發明專利]一種基于超圖學習的多視角人體行為識別方法

在審

• 申請號: 202211440742.7
• 申請日: 2022-11-17
• 公開（公告）號: CN115830707A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 馬楠;汪成;梁曄;吳祉璇;陳小康
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06V10/774;G06V10/34;G06V10/40;G06N3/0464;G06N3/08
• 代理公司: 北京馳納南熙知識產權代理有限公司 11999
• 代理人: 馬棟敏

本發明提供一種基于超圖學習的多視角人體行為識別方法，包括從P個視角獲取視頻數據，還包括以下步驟：對所述視頻數據進行預處理；根據關節點信息構建空間超圖；根據關節點信息構建時間超圖；使用超圖神經網絡對所述空間超圖和所述時間超圖進行特征學習；提取超圖所表示的高階信息，進行人體動作的行為識別。本發明通過對相同時刻不同視角下的人體骨骼點構建空間超圖，以捕獲多個身體骨骼點之間的空間依賴關系；通過對相同視角不同幀下的人體骨骼點構建時間超圖，更好地獲取特定關節點不同視角下特征之間的時間相關性，從而根據空間超圖和時間超圖構建的特征進行時空超圖神經網絡進行學習，最終實現基于超圖學習的多視角人體行為識別。

技術領域

本發明涉及圖像處理的技術領域，特別是一種基于超圖學習的多視角人體行為識別方法。

背景技術

行為識別是計算機視覺的代表性任務之一，精準感知和識別人體行為是智能交互和人機協作的重要前提，近年已成為廣為關注的研究領域，例如在行為分析、智能駕駛、醫療控制等應用領域，對肢體語言交互的研究具有重要意義。隨著人體關節點檢測效果不斷提升，已將其用于行為識別。然而，目前的方法仍然存在缺乏對于時序建模、關節特征高階語義描述欠缺等問題。

為了挖掘視頻序列中多個特征之間的時序關系，傳統的方法使用循環神經網絡構建長期關聯，可以通過使用全局上下文存儲單元關注每一幀中的信息節點，獲得更多的行為特征。還有一些方法旨在利用注意力機制聚合時空圖像區域的特征，有效地去除噪聲等影響，提高識別準確率。然而，這些方法仍然不能有效地建模關鍵區域的復雜相關性，這是行為識別任務的重大挑戰。基于多視角時序的行為識別旨在采用多視數據，通過建模時序信息，以更好地解決復雜場景下由于其角度、光照、遮擋等因素造成的信息欠定等問題，從而增強特征信息。

2014年3月18日的道客巴巴上公開了一篇題目為《一種基于超圖聚類的人體行為識別算法研究》的北京大學碩士論文，該論文的目標是從包含人體行為的視頻識別出人體行為，詳細研究了基于局部特征的人體行為識別方法，提出類一種基于超圖聚類的人體行為識別算法，首先，分析比較了提取視頻中人體行為的局部特征與進行特征描述的方法，致力于研究構建關于這些特征的字典，用字典中的單詞有效進行視頻表示，最后使用分類器對視頻進行分類，從而完成人體行為識別的任務。該方法的缺點是在復雜場景下遇到光照、遮擋、高動態、位置角度等問題時，行為識別的準確度較低。

發明內容

為了解決上述的技術問題，本發明提出了一種基于超圖學習的多視角人體行為識別方法，面向復雜場景下的行為，構建空間超圖是通過對相同時刻不同視角下的人體骨骼點構建多超圖，以捕獲多個身體骨骼點之間的空間依賴關系；構建時間超圖是通過對相同視角不同幀下的人體骨骼點進行多超圖構建，更好地獲取特定關節點不同視角下特征之間的時間相關性，從而根據空間超圖和時間超圖構建的特征進行時空超圖神經網絡進行學習，最終實現基于超圖學習的多視角人體行為識別。

本發明提供一種基于超圖學習的多視角人體行為識別方法，包括從P個視角獲取視頻數據，還包括以下步驟：

步驟1：對所述視頻數據進行預處理；

步驟2：根據關節點信息構建空間超圖；

步驟3：根據關節點信息構建時間超圖；

步驟4：使用超圖神經網絡對所述空間超圖和所述時間超圖進行特征學習；

步驟5：提取超圖所表示的高階信息，進行人體動作的行為識別。

優選的是，所述預處理的方法包括將視頻數據分割成N幀，通過Openpose提取每一幀的關節點信息，以關節點坐標x和y存儲，保存為json文件，根據關節點信息構建空間超圖和時間超圖。