[發(fā)明專利]一種基于特征遷移學習的轉(zhuǎn)換手勢識別到身份識別的方法

有效

• 申請?zhí)枺?/td>: 201810762885.7
• 申請日: 2018-07-12
• 公開（公告）號: CN108960171B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設計）人: 劉恒;戴亮亮
• 申請（專利權）人: 安徽工業(yè)大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 安徽知問律師事務所 34134
• 代理人: 平靜;胡鋒鋒

1.一種基于特征遷移學習的轉(zhuǎn)換手勢識別到身份識別的方法，其特征在于，其步驟為：

步驟1、采集用戶動態(tài)手勢數(shù)據(jù)，制作同時包含手勢類型標簽和用戶身份標簽的手勢訓練集；具體過程為：

采集用戶動態(tài)手勢數(shù)據(jù)，捕獲用戶全身25個關節(jié)的三維位置序列，得到該動態(tài)手勢對應的關節(jié)數(shù)據(jù)樣本；然后記錄每個手勢數(shù)據(jù)樣本對應的手勢類型標簽和用戶身份標簽；接著，將所有手勢關節(jié)數(shù)據(jù)樣本縮放到相同的幀數(shù)，其中，樣本縮放后的幀索引i與樣本縮放前的幀索引index_i之間的對應關系如公示(1)所示：

式中，L表示該手勢樣本縮放前的總幀數(shù)，N表示該手勢樣本縮放后的總幀數(shù)；

最后，將縮放后的手勢關節(jié)數(shù)據(jù)和記錄的用戶身份標簽和手勢類型標簽對應起來，得到同時包含手勢類型標簽和用戶身份標簽的動態(tài)手勢數(shù)據(jù)集合；

步驟2、構建神經(jīng)網(wǎng)絡模型，該神經(jīng)網(wǎng)絡模型包含一個手勢識別網(wǎng)絡模型和一個將手勢特征遷移到身份識別任務中的特征遷移網(wǎng)絡模型；其中，特征遷移網(wǎng)絡模型與手勢識別網(wǎng)絡模型具有相同的特征提取層結構，并共享網(wǎng)絡參數(shù)；所述的手勢識別網(wǎng)絡模型為一個基于雙向門限循環(huán)網(wǎng)絡的4層手勢識別網(wǎng)絡模型，手勢識別網(wǎng)絡模型的前3層為特征提取層，第4層為手勢識別輸出層；其中，第1層為全連接層，包含512個網(wǎng)絡節(jié)點；第2層和第3層分別為雙向門限循環(huán)網(wǎng)絡結構的前向?qū)雍秃笙驅(qū)樱?12個網(wǎng)絡節(jié)點；第4層的網(wǎng)絡節(jié)點個數(shù)與手勢類型數(shù)目相同；手勢識別網(wǎng)絡模型的輸入為手勢關節(jié)數(shù)據(jù)，輸出為該手勢對應的手勢類型標簽；該網(wǎng)絡學習動態(tài)手勢的關節(jié)數(shù)據(jù)與手勢類型標簽之間的映射關系，如公示(2)所示：

y_g＝f(x,θ_g1,θ_g2,θ_g3,θ_g4) (2)

式中，x和y_g分別為輸入的手勢關節(jié)數(shù)據(jù)和輸出的手勢類型標簽，θ_g1,θ_g2,θ_g3,θ_g4分別為各層學習到的網(wǎng)絡參數(shù)；

步驟3、依據(jù)步驟1中獲得的手勢訓練集和步驟2中構建的手勢識別網(wǎng)絡模型，進行手勢識別網(wǎng)絡模型的訓練，調(diào)整模型參數(shù)；

步驟4、依據(jù)步驟1中獲得的手勢訓練集和步驟2中構建的特征遷移網(wǎng)絡模型，進行特征遷移網(wǎng)絡模型的訓練，調(diào)整特征遷移層的模型參數(shù)；

步驟5、將用戶的一組手勢數(shù)據(jù)輸入特征遷移網(wǎng)絡模型，利用步驟4學習到的網(wǎng)絡參數(shù)識別出該用戶的身份標簽。

2.根據(jù)權利要求1所述的一種基于特征遷移學習的轉(zhuǎn)換手勢識別到身份識別的方法，其特征在于：步驟2中構建的特征遷移網(wǎng)絡模型的前3層與手勢識別網(wǎng)絡的前3層的網(wǎng)絡結構相同，并且共享參數(shù)。

3.根據(jù)權利要求2所述的一種基于特征遷移學習的轉(zhuǎn)換手勢識別到身份識別的方法，其特征在于：步驟2中構建一個5層的特征遷移網(wǎng)絡模型，特征遷移網(wǎng)絡模型的前3層與手勢識別網(wǎng)絡的前3層的網(wǎng)絡結構相同，并且共享參數(shù)；特征遷移網(wǎng)絡模型的第4層為特征遷移層，為全連接結構，包含1024個網(wǎng)絡節(jié)點；第5層為身份識別輸出層，該層的網(wǎng)絡節(jié)點個數(shù)與用戶數(shù)目相同。

4.根據(jù)權利要求3所述的一種基于特征遷移學習的轉(zhuǎn)換手勢識別到身份識別的方法，其特征在于：特征遷移網(wǎng)絡模型的輸入為手勢關節(jié)數(shù)據(jù)，輸出為該手勢對應的用戶身份標簽；該網(wǎng)絡學習動態(tài)手勢特征與用戶身份標簽之間的映射關系，如公示(3)所示：

y_user＝f(x,θ_g1,θ_g2,θ_g3,θ_t4,θ_t5) (3)

式中，x和y_user分別為輸入的手勢關節(jié)數(shù)據(jù)和輸出的用戶類型標簽，θ_g1,θ_g2,θ_g3為訓練好的手勢識別網(wǎng)絡模型的前3層網(wǎng)絡參數(shù)，θ_t4,θ_t5為特征遷移網(wǎng)絡模型的第4層和第5層網(wǎng)絡參數(shù)。