[發(fā)明專利]一種用于骨骼動作序列識別的聯(lián)合標(biāo)簽數(shù)據(jù)增強方法

有效

• 申請?zhí)枺?/td>: 202011561646.9
• 申請日: 2020-12-25
• 公開（公告）號: CN112712003B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計）人: 馬千里;鄭鎮(zhèn)境
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/774;G06K9/62
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 詹麗紅

1.一種用于骨骼動作序列識別的聯(lián)合標(biāo)簽數(shù)據(jù)增強方法，其特征在于，所述聯(lián)合標(biāo)簽數(shù)據(jù)增強方法包括：

步驟S1、獲取骨骼動作序列訓(xùn)練集；

步驟S2、對骨骼動作序列訓(xùn)練集中每個樣本進行數(shù)據(jù)增強獲得增強訓(xùn)練集；所述步驟S2中的數(shù)據(jù)增強包括恒等變換和時間序列扭曲變換，其中，所述時間序列扭曲變換的過程如下：

給定骨骼動作序列訓(xùn)練集中的一個樣本，將其劃分為N條長度相等的子序列，則每條子序列長度為：

其中T表示樣本長度，L表示子序列長度，表示下取整函數(shù)，然后對樣本的N條子序列交替地執(zhí)行下采樣和上采樣，并將它們拼接在一起構(gòu)成新樣本，對于下采樣，采用步長為2的平均池化，對于上采樣，在每兩個值之間插入它們的均值；

對骨骼動作序列訓(xùn)練集中每個樣本使用恒等變換和M-1種不同N值的時間序列扭曲變換獲得M個新樣本，將所有新樣本收集起來獲得增強訓(xùn)練集；

步驟S3、根據(jù)數(shù)據(jù)增強的變換方式為增強訓(xùn)練集中每個樣本分配一個變換標(biāo)簽；

步驟S4、使用增強訓(xùn)練集中每個樣本的原始標(biāo)簽和變換標(biāo)簽為增強訓(xùn)練集中對應(yīng)樣本生成一個聯(lián)合標(biāo)簽進行標(biāo)簽增強，從而獲得雙重增強訓(xùn)練集，過程如下：

增強訓(xùn)練集中樣本的原始標(biāo)簽類別數(shù)為C，變換標(biāo)簽類別數(shù)為M，將兩種標(biāo)簽進行合并為增強訓(xùn)練集中每個樣本生成一個聯(lián)合標(biāo)簽進行標(biāo)簽增強，從而獲得雙重增強訓(xùn)練集，其中聯(lián)合標(biāo)簽類別數(shù)為C×M；

步驟S5、將經(jīng)過數(shù)據(jù)增強和標(biāo)簽增強的雙重增強訓(xùn)練集輸入到骨骼動作序列識別模型并使用交叉熵?fù)p失函數(shù)訓(xùn)練；

步驟S6、將待分類的骨骼動作序列輸入到經(jīng)過訓(xùn)練的骨骼動作序列識別模型進行分類。

2.根據(jù)權(quán)利要求1所述的一種用于骨骼動作序列識別的聯(lián)合標(biāo)簽數(shù)據(jù)增強方法，其特征在于，所述步驟S3中根據(jù)數(shù)據(jù)增強的變換方式為增強訓(xùn)練集中每個樣本分配一個變換標(biāo)簽的過程如下：

給增強訓(xùn)練集中使用恒等變換獲得的樣本分配同樣的變換標(biāo)簽以及給使用相同N值的時間序列扭曲變換獲得的樣本分配同樣的變換標(biāo)簽，因此，變換標(biāo)簽類別數(shù)為M，包括恒等變換和M-1種不同N值的時間序列扭曲變換。

3.根據(jù)權(quán)利要求1所述的一種用于骨骼動作序列識別的聯(lián)合標(biāo)簽數(shù)據(jù)增強方法，其特征在于，所述步驟S5中將經(jīng)過數(shù)據(jù)增強和標(biāo)簽增強的雙重增強訓(xùn)練集輸入到骨骼動作序列識別模型并使用交叉熵?fù)p失函數(shù)訓(xùn)練的過程如下：

給定雙重增強訓(xùn)練集中的一個樣本t，則預(yù)測的聯(lián)合標(biāo)簽概率分布獲得過程為：

z＝f(t；w)

s＝softmax(z)

其中，f(·；w)表示骨骼動作序列識別模型，w表示骨骼動作序列模型的可訓(xùn)練參數(shù)，z表示骨骼動作序列識別模型的輸出未激活向量，s表示預(yù)測的聯(lián)合標(biāo)簽概率分布，softmax(·)把輸入映射為0-1之間的實數(shù)，并且歸一化保證和為1，根據(jù)預(yù)測的聯(lián)合標(biāo)簽概率分布和真實的聯(lián)合標(biāo)簽概率分布使用交叉熵?fù)p失函數(shù)訓(xùn)練骨骼動作序列識別模型，其中交叉熵?fù)p失函數(shù)用于度量兩個概率分布間的差異性信息。

4.根據(jù)權(quán)利要求1所述的一種用于骨骼動作序列識別的聯(lián)合標(biāo)簽數(shù)據(jù)增強方法，其特征在于，所述步驟S6中將待分類的骨骼動作序列輸入到經(jīng)過訓(xùn)練的骨骼動作序列識別模型進行分類的過程如下：

給定一條待分類的骨骼動作序列x，將其輸入到經(jīng)過訓(xùn)練的骨骼動作序列識別模型，公式表示如下：

h＝f(x；w_train)

p＝softmax(h)

其中，f(·；w_train)表示經(jīng)過訓(xùn)練的骨骼動作序列識別模型，w_train表示經(jīng)過訓(xùn)練的骨骼動作序列模型參數(shù)，h表示經(jīng)過訓(xùn)練的骨骼動作序列識別模型的輸出未激活向量，p＝{p_1,1,…,p_1,j,…,p_1,M,…,p_i,1,…,p_i,j,…,p_i,M,…,p_C,1,…,p_C,j,…,p_C,M}表示預(yù)測的聯(lián)合標(biāo)簽概率分布，式中，p_i,j表示預(yù)測的聯(lián)合標(biāo)簽(i,j)的概率值，則預(yù)測的原始標(biāo)簽概率分布定義為：

g＝{g₁,…,g_i,…,g_C}，

式中，表示預(yù)測的原始標(biāo)簽i的概率值，通過預(yù)測的原始標(biāo)簽概率分布獲得分類結(jié)果，從而對待分類的骨骼動作序列進行分類。