[發明專利]一種用于骨骼動作序列識別的聯合標簽數據增強方法

有效

• 申請號: 202011561646.9
• 申請日: 2020-12-25
• 公開（公告）號: CN112712003B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 馬千里;鄭鎮境
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/774;G06K9/62
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 詹麗紅

本發明公開了一種用于骨骼動作序列識別的聯合標簽數據增強方法，包括以下步驟：獲取骨骼動作序列訓練集；對骨骼動作序列訓練集中每個樣本進行數據增強獲得增強訓練集；根據數據增強的變換方式為增強訓練集中每個樣本分配一個變換標簽；使用增強訓練集中每個樣本的原始標簽和變換標簽為增強訓練集中對應樣本生成一個聯合標簽進行標簽增強，從而獲得雙重增強訓練集；將經過數據增強和標簽增強的雙重增強訓練集輸入到骨骼動作序列識別模型并使用交叉熵損失函數訓練；將待分類的骨骼動作序列輸入到經過訓練的骨骼動作序列識別模型進行分類。本發明對骨骼動作序列訓練集進行數據增強和標簽增強，使骨骼動作序列識別模型能夠更好地進行訓練。

技術領域

本發明涉及數據增強技術領域，具體涉及一種用于骨骼動作序列識別的聯合標簽數據增強方法。

背景技術

人類動作識別是機器學習中活躍的研究分支，在人體動作分析、人機交互和智能家居場景等領域有著廣泛的應用，如使用手勢來控制家電是智能家居發展的趨勢之一。人類動作識別主要可分為視頻動作序列識別和骨骼動作序列識別。與視頻動作序列相比，骨骼動作序列更適合表現人類行為的本質。

骨骼動作序列識別的方法可分為兩類：基于特征的方法和基于動態的方法。基于特征的方法從骨骼動作序列中提取姿態表示或具有判別性的關節子集來獲取人體關節的相關性，并使用合適的度量來評估不同動作的相似度。雖然基于特征的方法在一定程度上是有效的，但手工設計的特征和度量顯然無法滿足不同的數據。另一方面，基于動態的方法將骨骼動作序列看作是人體關節的三維軌跡。因此，骨骼動作序列可以看作是多變量時間序列，則骨骼動作序列識別可以看作是一個時間序列分類問題。RNNs(循環神經網絡)是處理骨骼動作序列識別的重要模型，因為它可以有效學習骨骼動作序列的上下文信息。然而，作為一種深度學習模型，RNNs通常需要大量監督數據用于訓練。

解決這個問題一個簡單有效的方法是使用數據增強。數據增強通過合成數據來增加訓練集的大小。基于時間序列的數據增強方法通常采用翻轉、窗口劃片、窗口扭曲等方式，其中窗口扭曲對隨機選取的序列片段進行上采樣或下采樣，適用于骨骼動作序列的數據增強。然而，窗口扭曲會導致骨骼動作序列長度發生變化，使得模型訓練變得困難。此外，傳統數據增強的通用做法是給通過數據增強獲得的新樣本分配一個同樣的原始標簽。如果新樣本與原始樣本存在較大差異時會導致數據分布擴大從而使得分類邊界難以確定。

在本發明的提出過程中，至少通過研究首次發現以下信息：從數據自身獲取到的監督信息可以幫助模型訓練，而且通過數據增強和標簽增強可以增加訓練集的大小又可以幫助骨骼動作序列識別模型為每個類別的樣本學習一個緊湊的類簇，而不會擴大數據分布。基于此，亟待提出了一種用于骨骼動作序列識別的聯合標簽數據增強方法。

發明內容

本發明的目的是為了解決現有技術中的上述缺陷，提供一種用于骨骼動作序列識別的聯合標簽數據增強方法，該聯合標簽數據增強方法即可以增加訓練集的大小又不會擴大數據分布。

本發明的目的可以通過采取如下技術方案達到：

一種用于骨骼動作序列識別的聯合標簽數據增強方法，所述聯合標簽數據增強方法包括：

步驟S1、獲取骨骼動作序列訓練集；

步驟S2、對骨骼動作序列訓練集中每個樣本進行數據增強獲得增強訓練集；

步驟S3、根據數據增強的變換方式為增強訓練集中每個樣本分配一個變換標簽；

步驟S4、使用增強訓練集中每個樣本的原始標簽和變換標簽為增強訓練集中對應樣本生成一個聯合標簽進行標簽增強，從而獲得雙重增強訓練集；

步驟S5、將經過數據增強和標簽增強的雙重增強訓練集輸入到骨骼動作序列識別模型并使用交叉熵損失函數訓練；

步驟S6、將待分類的骨骼動作序列輸入到經過訓練的骨骼動作序列識別模型進行分類。