[發明專利]一種基于雙攝手機和人工智能系統的手勢識別系統

有效

• 申請號: 201810402470.9
• 申請日: 2018-04-28
• 公開（公告）號: CN108717524B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 鄧琨;孟昭鵬;鄭巖
• 申請（專利權）人: 天津大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/22;G06V10/82;G06V10/762;G06V10/764;G06V10/774;G06V10/56;G06V10/50;G06V10/30;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李素蘭

1.一種基于雙攝手機和人工智能系統的手勢識別系統，利用雙攝手機和機器學習實現人體手勢的識別，其特征在于，該系統包括圖像采集模塊(100)、圖像預處理模塊(200)、神經網絡訓練模塊(300)和手勢識別模塊(400)；其中：

所述圖像采集模塊，用于獲取因攝像頭視角不同產生的兩幅差異性的原始圖像，包括左、右攝像頭的彩色圖像和包含深度信息的圖像，并保存；

所述圖像預處理模塊，用于從原始圖像中截取手勢區域，獲取手勢區域深度圖像；

所述神經網絡訓練模塊，用于對采集的深度圖像利用深度神經網絡進行訓練，得到神經網絡系統；

所述手勢檢驗識別模塊，用于依據所需識別的手勢圖像輸入信息，返回手勢識別結果；

利用所述圖像采集模塊(100)同時獲取兩個攝像頭的JPG圖像數據；該JPG圖像包含了3個部分，即左攝像頭拍攝的彩色圖像和右攝像頭拍攝的彩色圖像以及預處理得到的的深度圖像；然后進行JPG圖像分割處理，即根據JPG文件格式規定：0xFFD8為jpg文件頭、0xFFDA為SOA格式段，提取出相應的左、右攝像頭圖像的存儲片段分別保存；接著深度圖像片段以0x0065646f6600開始，提取后單獨保存；該十六進制串的ascii字符表示為edof標志；

利用所述圖像預處理模塊(200)從原始圖像中獲取具有深度信息的圖像中，利用閾值分割法截取深度圖像中的手勢區域；并從彩色圖像中截取相應手勢區域，作為初步手勢分割結果；將彩色圖像由RGB空間轉換到HSV空間，利用kmeans機器學習聚類方法對圖像的顏色信息進行聚類，將HSV空間的圖像數據聚類為3類，即得到背景白色一類、手勢區域一類以及其他區域一類；獲取手勢區域的分類像素以后，求像素均值以及方差大小，利用閾值分割法根據均值和方差截取彩色圖像中對應的精確手勢區域；利用彩色圖像精確手勢區域切割出深度圖像手勢區域，得到最終的深度手勢圖像；對最終的深度手勢圖像進行變換擴展，增強訓練數據集，達到約30000張以上的深度圖像；

利用所述神經網絡訓練模塊(300)對圖像預處理模塊所獲得的手勢區域深度圖進行神經網絡訓練，該神經網絡由4層構成，第一層為卷積神經網絡層，由16個5*5的卷積核，和1個2*2的最大值子采樣卷積核，將輸入的大小為72*96的灰度圖輸出16個36*48特征；第二層為卷積神經網絡層，由32個5*5的卷積核，和1個2*2的最大值子采樣卷積核，將輸入的大小為個32個36*48的灰度圖輸出64個18*24的特征；第三層為全連接層，將輸出的64個18*24的特征圖全連接到512個輸出神經元；第四層為softmax層，有512個輸入神經元，輸出到9個輸出神經元，代表1～9的9個數字，取輸出最大的項作為識別的結果；

利用所述手勢檢驗識別模塊(400)，經過上述圖像預處理模塊進行預處理得到的手勢深度圖，然后輸入神經網絡層，得到預測結果。