[發(fā)明專利]一種基于級聯(lián)深度神經(jīng)網(wǎng)絡(luò)的實時手勢追蹤方法

在審

• 申請?zhí)枺?/td>: 201710261113.0
• 申請日: 2017-04-20
• 公開（公告）號: CN107220588A
• 公開（公告）日: 2017-09-29
• 發(fā)明（設(shè)計）人: 秦靜;靳婷
• 申請（專利權(quán)）人: 蘇州神羅信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06F3/01
• 代理公司: 蘇州翔遠(yuǎn)專利代理事務(wù)所(普通合伙)32251
• 代理人: 陸金星

技術(shù)領(lǐng)域

本發(fā)明涉及高級計算機視覺及機器學(xué)習(xí)領(lǐng)域，尤其涉及一種基于級聯(lián)深度神經(jīng)網(wǎng)絡(luò)的實時手勢追蹤方法。

背景技術(shù)

隨著虛擬現(xiàn)實、增強現(xiàn)實等行業(yè)的飛速發(fā)展，解決用戶的動作信息輸入成為一個迫在眉睫的問題，而所有的人體動作信息中，手部的動作是最直觀和方便的。因此，探索出一種快速、精準(zhǔn)和實時級別的手勢姿態(tài)追蹤的方法，能夠以最快的速度解決虛擬現(xiàn)實和增強現(xiàn)實的交互問題。

目前追蹤手勢姿態(tài)的方法主要有數(shù)據(jù)手套、圖像數(shù)據(jù)分析，其中數(shù)據(jù)手套需要穿戴昂貴的設(shè)備，因此基于攝像頭的圖像數(shù)據(jù)分析成為首選。圖像數(shù)據(jù)分析中，傳統(tǒng)的方法一般是通過膚色區(qū)別手，探測手的各個節(jié)點，但會存在嚴(yán)重的遮擋問題，導(dǎo)致手勢追蹤極度不穩(wěn)定、緩慢等問題，難以實用，并不能提供實時、穩(wěn)定、精準(zhǔn)的手勢姿態(tài)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于級聯(lián)深度神經(jīng)網(wǎng)絡(luò)的實時手勢追蹤方法。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于級聯(lián)深度神經(jīng)網(wǎng)絡(luò)的實時手勢追蹤方法,包括以下步驟：

第一步，通過TOF攝像頭及彩色攝像頭獲取圖像數(shù)據(jù)，并通過圖像數(shù)據(jù)流進(jìn)入圖像預(yù)處理器；

第二步，圖像預(yù)處理器對圖像數(shù)據(jù)進(jìn)行預(yù)處理操作，然后將處理后的數(shù)據(jù)通過預(yù)處理數(shù)據(jù)流送入初級特征提取器；

第三步，初級特征提取器將對預(yù)處理后的數(shù)據(jù)進(jìn)行基本特征提取，形成初級特征，并將初級特征通過初級特征流送入級聯(lián)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)；

第四步，級聯(lián)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)進(jìn)行進(jìn)一步的高級特征抽象處理，形成高級抽象特征，并通過高級抽象特征流傳遞至模式匹配器；

第五步，模式匹配器將會根據(jù)特征抽象處理后的高級抽象特征，進(jìn)行模糊的模式匹配，并將模式匹配的相關(guān)數(shù)據(jù)通過手勢模式數(shù)據(jù)流的方式傳遞至姿態(tài)處理中心；

第六步，最后通過姿態(tài)處理中心計算手部的二十六個節(jié)點的所有位置得出手部姿態(tài)和空間位置數(shù)據(jù)，并通過手勢姿態(tài)數(shù)據(jù)流將其傳遞給計算機應(yīng)用。

進(jìn)一步，第二步中的預(yù)處理操作包括圖像數(shù)據(jù)的接收、圖像數(shù)據(jù)分塊、提取邊緣、提取角點、降采樣和構(gòu)建降采樣數(shù)據(jù)的數(shù)據(jù)包，最后將構(gòu)建的數(shù)據(jù)包通過數(shù)據(jù)包流，即預(yù)處理數(shù)據(jù)流送入初級特征提取器。

進(jìn)一步，所述提取邊緣具體為利用拉普拉斯邊緣提取器提取邊緣；提取角點具體為利用Harris角點提取器提取角點。

進(jìn)一步，第三步中的基本特征提取包括解開數(shù)據(jù)包、尺度不變特征提取、特征篩選形成初級特征和構(gòu)建初級特征數(shù)據(jù)包，最后將構(gòu)建的初級特征數(shù)據(jù)包通過初級特征數(shù)據(jù)包流，即初級特征流送入級聯(lián)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

進(jìn)一步，所述尺度不變特征提取具體為使用SIFT算法進(jìn)行提取。

進(jìn)一步，第四步中的高級特征抽象處理包括解開初級特征數(shù)據(jù)包、級聯(lián)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)抽取特征、高級抽象特征篩選形成高級抽象特征和構(gòu)建高級特征數(shù)據(jù)包，最后將構(gòu)建的高級特征數(shù)據(jù)包通過構(gòu)建高級特征數(shù)據(jù)包流，即高級抽象特征流傳遞至模式匹配器。

進(jìn)一步，所述級聯(lián)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)抽取特征包括數(shù)據(jù)并行分解、最大池化處理、圖像卷積處理、卷積圖像層級化處理和數(shù)據(jù)正規(guī)化處理；最后通過完全鏈接層與高級抽象特征篩選交互。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明利用級聯(lián)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，將人體手部的圖像信息進(jìn)行了快速的特征提取、匹配、姿態(tài)解算等過程，確保能夠?qū)崟r獲取人體手部的26個關(guān)節(jié)點的所有空間位置信息，具有實時性高、精準(zhǔn)度高、穩(wěn)定性強、易于復(fù)用等優(yōu)點。

附圖說明

下面結(jié)合附圖對本發(fā)明進(jìn)一步說明。

圖1為本發(fā)明的工作系統(tǒng)架構(gòu)圖；

圖2為本發(fā)明的技術(shù)方案流程圖；

圖3為本發(fā)明的圖像預(yù)處理器運行流程圖；

圖4為本發(fā)明的初級特征提取器運行流程圖；

圖5為本發(fā)明的級聯(lián)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)運行流程圖。

具體實施方式

下面結(jié)合具體實施例對本發(fā)明進(jìn)行進(jìn)一步描述，但本發(fā)明的保護范圍并不限于此。

如圖1、圖2、圖3、圖4和圖5所示的一種基于級聯(lián)深度神經(jīng)網(wǎng)絡(luò)的實時手勢追蹤方法,包括以下步驟：

第一步，通過TOF攝像頭及彩色攝像頭獲取手勢的原始圖像數(shù)據(jù)，并通過圖像數(shù)據(jù)流進(jìn)入圖像預(yù)處理器；