[發明專利]基于數據增強與知識蒸餾的可增類行為識別系統及方法

在審

• 申請號: 202210216245.2
• 申請日: 2022-03-07
• 公開（公告）號: CN114638289A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 殷亞鳳;劉仲;謝磊;陸桑璐
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 賀翔

1.一種基于數據增強與知識蒸餾的可增類行為識別系統，其特征在于，包括：數據采集單元、數據預處理單元、存儲單元、行為識別單元和增類訓練單元；

數據采集單元，用于采集用戶運動時的慣性傳感器三個軸的加速度計和三個軸的陀螺儀數據；

數據預處理單元，對獲取的加速計數據和陀螺儀數據進行重采樣，裁剪數據長度以及歸一化數據的值，輸出經過預處理后的行為數據；

存儲單元，用于存儲舊行為類別代表樣本集和舊行為識別模型；

行為識別單元，用于對所述預處理后的行為數據進行識別和分類，對于新行為類別，改變分類器的輸出類別數，并將新行為類別的樣本和舊行為類別的代表性樣本作為訓練樣本，產生一個增類訓練任務，發送給增類訓練單元；

增類訓練單元，獲取存儲單元存儲的舊行為識別模型，使用新行為類別的樣本以及舊行為類別的部分代表性樣本對舊行為識別模型進行增類訓練，輸出一個新行為識別模型；所述新行為識別模型對舊行為類別數據或新行為類別數據進行識別，輸出行為識別結果。

2.根據權利要求1所述的基于數據增強與知識蒸餾的可增類行為識別系統，其特征在于，所述數據預處理單元包括：數據重采樣模塊、數據歸一化及標準化模塊；

數據重采樣模塊：對數據采集單元獲取的行為數據進行對齊長度操作；對每個長度不一致的行為數據進行線性插值運算，該運算采用一個插值函數，設置固定采樣長度，插值函數將生成固定采樣長度的行為數據，實現對所有的行為數據對齊；

數據歸一化及標準化模塊：求所有重采樣后數據的均值μ和方差σ，并將μ和σ作用到所有訓練數據上，使用如下公式將數據歸一化到[-1，1]，使其服從標準正態分布：

式中，D_o是歸一化的行為數據，D_i是原始的行為數據，μ代表訓練數據的均值，σ代表訓練數據的方差；同時使用該均值和方差對所有測試數據進行歸一化和標準化。

3.根據權利要求1所述的基于數據增強與知識蒸餾的可增類行為識別系統，其特征在于，所述存儲單元存儲舊行為類別代表樣本集D_old和舊行為識別模型M_o，其中舊行為類別代表樣本集D_old的容量設置成固定樣本數量：每次增類訓練結束后，通過聚類方法，計算新行為類別訓練樣本的中心樣本，選取其中有代表性的訓練樣本存儲到存儲單元中，同時減少舊行為類別代表樣本的數量，將與中心樣本差異大的訓練樣本刪除，保持舊行為類別代表樣本和新行為類別代表樣本的總數恒定，并用當前的舊行為類別代表樣本和新行為類別代表樣本更新舊行為類別代表樣本集D_old。

4.根據權利要求1所述的基于數據增強與知識蒸餾的可增類行為識別系統，其特征在于，所述行為識別單元包括：特征提取模塊和分類器模塊；

所述特征提取模塊，將數據預處理單元處理后的行為數據進行編碼，輸出一個256維特征向量；

所述分類器模塊，將編碼后的256維特征向量與分類器的隱藏層特征矩陣進行內積計算，輸出一個N維向量，N代表行為類別數量，N維向量上最大數值對應的類別即為分類結果。

5.根據權利要求4所述的基于數據增強與知識蒸餾的可增類行為識別系統，其特征在于，所述特征提取模塊將數據預處理單元處理后的行為數據進行編碼，輸出一個256維特征向量，該特征向量包含行為數據的重要特征信息，作為分類器模塊的輸入；所述特征提取模塊包含：1個位置編碼模塊和6個串聯的編碼器模塊；所述位置編碼模塊將來自數據預處理單元的數據加入位置信息，重新編碼為256維的特征向量，作為第一個編碼器模塊的輸入；后一個編碼器模塊使用前一個編碼器模塊的256維特征向量作為輸入，輸出經過編碼處理的256維特征向量；前5個編碼器模塊輸出的256維特征向量均稱為隱藏層特征向量，該5個編碼器模塊輸出的隱藏層特征向量被保留，同時該5個編碼器模塊還輸出隱藏層自注意力矩陣。