[發(fā)明專利]一種基于雙攝手機(jī)和人工智能系統(tǒng)的手勢識別系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810402470.9
• 申請日: 2018-04-28
• 公開（公告）號: CN108717524B
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計）人: 鄧琨;孟昭鵬;鄭巖
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/22;G06V10/82;G06V10/762;G06V10/764;G06V10/774;G06V10/56;G06V10/50;G06V10/30;G06N3/04
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李素蘭

本發(fā)明公開了一種基于雙攝手機(jī)和人工智能系統(tǒng)的手勢識別系統(tǒng)，利用雙攝手機(jī)和機(jī)器學(xué)習(xí)實(shí)現(xiàn)人體手勢的識別，所述圖像采集模塊，用于獲取因攝像頭視角不同產(chǎn)生的兩幅差異性的原始圖像，包括左、右攝像頭的彩色圖像和包含深度信息的圖像，并保存；所述圖像預(yù)處理模塊，用于從原始圖像中截取手勢區(qū)域，獲取手勢區(qū)域深度圖像；所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊，用于對采集的深度圖像利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到識別正確率達(dá)到92％以上的神經(jīng)網(wǎng)絡(luò)系統(tǒng)；所述手勢檢驗(yàn)識別模塊，用于依據(jù)所需識別的手勢圖像輸入信息，返回手勢識別結(jié)果。與現(xiàn)有技術(shù)相比，本發(fā)明增加了深度信息具有更精確的手勢信息，從而有更高的識別準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)圖像處理、人工智能方面的技術(shù)，特別涉及一種通過利用雙目立體視覺獲取3D圖像以進(jìn)行手勢識別的系統(tǒng)及手勢識別方法。

背景技術(shù)

人機(jī)交互是指人與機(jī)器之前的一種對話方式。從原始的鍵盤、鼠標(biāo)到現(xiàn)在的攝像頭、各種傳感器等，經(jīng)歷了巨大的創(chuàng)新和發(fā)展。隨著VR技術(shù)的不斷發(fā)展，動作交互的識別成為了新的發(fā)展熱門。如何捕捉用戶的動作手勢，進(jìn)行識別判定，是一門復(fù)雜的藝術(shù)。

隨著手機(jī)軟件硬件的不斷發(fā)展，雙攝像頭正成為主流手機(jī)的標(biāo)準(zhǔn)配置，搭載雙攝像頭的手機(jī)可以提供更好的遠(yuǎn)攝性能，而且兩枚鏡頭相互配合還可以帶來如相機(jī)般的背景虛化能力，在拍攝人像照片的時候有著很好的效果。不僅如此，利用雙攝像頭的雙目立體視覺，可以實(shí)現(xiàn)3D效果的圖像視頻，獲得景物的深度圖像數(shù)據(jù)。從而運(yùn)用3D數(shù)據(jù)到其他具體場景。

機(jī)器學(xué)習(xí)領(lǐng)域自2006年以來不斷完善和發(fā)展。在圖像處理領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)取得了巨大的實(shí)際運(yùn)用成果。通過有監(jiān)督的深度學(xué)習(xí)模型CNN(卷積神經(jīng)網(wǎng)絡(luò))，利用權(quán)值共享、下采樣等空間計算方式來減少參數(shù)個數(shù)從而減少局部最小值個數(shù)，能有減少參數(shù)，有助于在訓(xùn)練時找到一個最好的局部最優(yōu)解。從而提高識別率，達(dá)到良好的效果。

發(fā)明內(nèi)容

基于現(xiàn)有技術(shù)，本發(fā)明提出了一種利用雙攝手機(jī)和人工智能系統(tǒng)手勢識別系統(tǒng)，作為一種新型的人機(jī)交互手段，本發(fā)明通過雙攝手機(jī)的雙攝像頭拍攝手勢照片，利用雙攝像頭提取出的深度手勢圖像訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，經(jīng)過處理返回手勢識別的結(jié)果，即手勢含義。

本發(fā)明的一種基于雙攝手機(jī)和人工智能系統(tǒng)的手勢識別系統(tǒng)，利用雙攝手機(jī)和機(jī)器學(xué)習(xí)實(shí)現(xiàn)人體手勢的識別，該系統(tǒng)包括圖像采集模塊、圖像預(yù)處理模塊、神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊和手勢識別模塊；其中：

所述圖像采集模塊100，用于獲取因攝像頭視角不同產(chǎn)生的兩幅差異性的原始圖像，包括左、右攝像頭的彩色圖像和包含深度信息的圖像，并保存；

所述圖像預(yù)處理模塊200，用于從原始圖像中截取手勢區(qū)域，獲取手勢區(qū)域深度圖像；

所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊300，用于對采集的深度圖像利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到神經(jīng)網(wǎng)絡(luò)系統(tǒng)；

所述手勢檢驗(yàn)識別模塊400，用于依據(jù)所需識別的手勢圖像輸入信息，返回手勢識別結(jié)果；

利用所述圖像采集模塊100同時獲取兩個攝像頭的JPG圖像數(shù)據(jù)。該JPG圖像包含了3個部分，即左攝像頭拍攝的彩色圖像和右攝像頭拍攝的彩色圖像以及預(yù)處理得到的的深度圖像；然后進(jìn)行JPG圖像分割處理，即根據(jù)JPG文件格式規(guī)定：0xFFD8為jpg文件頭、0xFFDA為SOA格式段，提取出相應(yīng)的左、右攝像頭圖像的存儲片段分別保存；接著深度圖像片段以0x0065646f6600開始，提取后單獨(dú)保存。該十六進(jìn)制串的字符表示為edof標(biāo)志；