[發明專利]基于關節組間關聯建模的動作識別方法與系統

有效

• 申請號: 202110506333.1
• 申請日: 2021-05-10
• 公開（公告）號: CN113065529B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 高躍;陳自強
• 申請（專利權）人: 清華大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/20;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

本發明提出一種基于關節組間關聯建模的動作識別方法與系統，其中，方法包括以下步驟：獲取人體骨架關節特征；生成人體骨架關節組特征；建立鄰接矩陣，鄰接矩陣用于表征以關節點作為圖節點的圖結構；使用預先訓練的圖卷積網絡對人體骨架關節組特征進行計算，獲得最終特征；根據圖結構對最終特征進行全局池化層處理，并將處理后的最終特征通過全連接層映射到各個動作類別上，并獲取每個動作類別的概率；根據人體骨架關節特征、人體骨架關節組特征和骨骼特征確定多個類別中的一個類別作為最終的動作分類識別結果。本申請提出的方法可以僅在進行小的改動的情況下應用于其他基于圖卷積神經網絡的現有方法，賦予這些方法建模人體關節組間關聯的能力。

技術領域

本發明涉及動作識別的技術領域，尤其涉及一種基于關節組間關聯建模的動作識別方法。

背景技術

自圖卷積神經網絡迅速發展以來，由于圖卷積神經網絡對于建模圖結構信息十分有效，基于圖卷積神經網絡的方法成為基于骨架信息的動作識別領域的主流方法。以ST-GCN、2s-AGCN等為代表的方法在NTU RGB+D、Kinetics等主流數據集上取得了當時所有方法中的最優性能。這些方法在構建圖卷積網絡中所使用的圖結構時，往往遵循人體骨架的自然連接，以人體關節作為圖的節點，以關節間的連接作為圖的邊。這是一種自然且簡單的連接方式，并且使用基于這種圖結構的方法相較基于手工特征和基于CNN或RNN的方法亦能取得較大的性能提升。

然而，受限于將圖節點定義為人體骨架關節點這一建立圖結構的方式，現有的方法僅僅只能建模關節間的關聯，而對于關節間更高階的關聯，如關節組之間的關聯，則缺乏建模的方式。一般來講，在一些動作中，關節組之間的關聯有助于模型識別動作。例如人體在運動的時候，通常手上或腿上的幾個關節都是協同運動的，同一肢的多個關節具有明顯的協同效應。通過學習手上的關節組與腿上的關節組之間的運動關聯，可以更加有效地捕捉復雜動作的特征，幫助模型更好的識別諸如走路等手腳協調的動作。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出基于關節組間關聯建模的動作識別方法，以實現賦予模型建模關節組之間關聯的能力，并提高模型的性能。

本發明的第二個目的在于提出基于關節組間關聯建模的動作識別系統。

本發明的第三個目的在于提出一種計算機設備。

本發明的第四個目的在于提出一種非臨時性計算機可讀存儲介質。

為達上述目的，本發明第一方面實施例提出了一種基于關節組間關聯建模的動作識別方法，包括以下步驟：

步驟S10，獲取人體骨架關節特征；

步驟S20，針對所述人體骨架關節特征，迭代取任意兩個關節，計算所述任意兩個關節對應的關節組編號，根據關節組編號生成人體骨架關節組特征；

步驟S30，建立鄰接矩陣，所述鄰接矩陣用于表征以關節點作為圖節點的圖結構，所述圖節點為關節組，獲取關節點對應的鄰接節點，對所述鄰接節點進行分類，根據不同類型的鄰接節點生成所述鄰接矩陣；

步驟S40，使用預先訓練的圖卷積網絡對人體骨架關節組特征進行計算，獲得最終特征；

步驟S50，根據所述圖結構對所述最終特征進行全局池化層處理，并將處理后的最終特征通過全連接層映射到各個動作類別上，并獲取每個動作類別的概率；

步驟S60，根據關節分支和骨骼分支進行多分支融合以得到骨骼特征，基于所述每個動作的類別，根據所述人體骨架關節特征、所述人體骨架關節組特征和所述骨骼特征確定多個類別中的一個類別作為最終的動作分類識別結果。

可選地，在本申請的一個實施例中，所述步驟S10包括以下步驟：