[發明專利]一種基于3d卷積神經網絡的手勢識別方法

有效

• 申請號: 201810020731.0
• 申請日: 2018-01-09
• 公開（公告）號: CN108197580B
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 許騫藝;秦貴和;姜慧明;張鐘翰;晏婕;劉毅;袁帥;秦俊
• 申請（專利權）人: 吉林大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 吉林長春新紀元專利代理有限責任公司 22100
• 代理人: 魏征驥

1.一種基于3d卷積神經網絡的手勢識別方法，其特征在于，包括下列步驟：

(一)在不同光照下采集四類手勢視頻數據

用相機拍攝像素為171×224的灰度與深度視頻圖像，數據在不同光照下采集，都采集駕駛員右手的手勢，其中：第一類手勢是左右滑動手勢，第二類手勢是上下翻動手勢，第三類手勢是左右點滑手勢，第四類手勢是旋轉手勢；

(二)手勢視頻數據預處理

1)原始手勢視頻時間長度各不相同，為了統一每個手勢視頻的時間長度，對視頻正則化，使用最近鄰插值通過丟棄或重復幀完成重采樣的過程，結果為每個手勢序列時間長度都是32幀；

2)在空間上，原始視頻圖像大小為171×224，只取有手勢的那一部分、圖像的大小為100×100，同時，為了使網絡訓練時速度更快，使用以2為因子下采樣原始彩色的強度圖像和深度圖像到50×50像素；

3)使用大小為3×3像素Sobel算子在強度通道和深度通道中計算梯度，提高數據集中不同光照條件下的表現的魯棒性；

4)歸一化每一個手勢視頻的每個通道，使每個通道的值成為零均值和單位方差的；經過處理的數據符合標準正態分布，即均值為0，標準差為1，轉化函數為：

其中x為隨機變量，x^*為標準化的隨機變量，μ為所有樣本數據的均值，6為所有樣本數據的標準差；

5)經過以上處理后的圖像存在很多噪點，為了最大程度的去除噪點，采用卷積子網與反卷積子網相結合的去噪方法，該方法保證輸入圖像的大小與輸出圖像的大小相同，去噪效果良好；

6)最終輸入到3d卷積神經網絡的特征分類器的是大小為50×50×32的包含交錯的圖像強度和深度幀的手勢視頻數據；

(三)手勢識別的網絡架構

經過手勢視頻數據預處理后，將視頻段作為輸入放進3d卷積神經網絡架構中，通過一系列的卷積和池化操作完成對視頻中的手勢特征的分類，通過分類結果判斷輸入的某一視頻屬于哪種手勢，從而達到手勢識別的要求；具體的操作步驟如下：

第1層為卷積層，記作C1層，使用4個大小為5×5×3的卷積核，以步長為1做卷積層；C1層的輸入數據為大小50×50×32的視頻，輸出數據為4個大小為46×46×30的特征圖；

第2層為池化層，記作S2層，對C1層的輸出做最大池化操作，池化窗口大小為2×2×2，步長為1；S2層的輸入數據為大小46×46×30的特征圖，輸出數據為4個大小為23×23×15的特征圖；

第3層為卷積層，記作C3層，使用8個大小為3×3×5的卷積核，以步長為1做卷積層；C3輸入的數據為大小23×23×15的特征圖,輸出數據為8個大小為21×21×11的特征圖；

第4層為池化層，記作S4層，對C3層的輸出做最大池化操作，池化窗口大小為2×2×2，步長為1；S4層的輸入數據為大小21×21×11的特征圖，輸出數據為8個大小為10×10×5的特征圖；

第5層為池化層，記作S5層，對S4層的輸出做最大池化操作，池化窗口大小為2×2×1，步長為1；S5層的輸入數據為大小10×10×5的特征圖，輸出數據為8個大小為5×5×5的特征圖；

第6層為全連接層，記作FC6層，一個尺寸為800個神經元的特征，每個特征與第5層的所有特征進行全連接；

第7層為softmax層，softmax層的輸入為第6層的神經元，通過softmax函數計算，得出的結果為一系列的概率值，這些概率求和為1，每個概率代表給定視頻屬于特定輸出類的概率，如果某一視頻得出的概率值中，第一類概率值最高，則這一手勢視頻對應為左右滑動；如果第二類概率值最高，則這一手勢視頻對應為上下翻動；如果第三類概率值最高，則這一手勢視頻對應為左右點滑；如果第四類概率值最高，則這一手勢視頻對應為旋轉。