[發(fā)明專利]基于深度卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)手勢軌跡識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201610069836.6
• 申請(qǐng)日: 2016-02-01
• 公開（公告）號(hào): CN105740823B
• 公開（公告）日: 2019-03-29
• 發(fā)明（設(shè)計(jì)）人: 馬俊杰;趙曉軻;牛建偉;陳孟斌;歐陽真超
• 申請(qǐng)（專利權(quán)）人: 北京高科中天技術(shù)股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京中企鴻陽知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11487
• 代理人: 劉葛;郭鴻雁

1.一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)手勢軌跡識(shí)別方法，其特征在于，包括如下步驟：

步驟S1，采集原始輸入的手勢軌跡點(diǎn)序列，對(duì)所述手勢軌跡點(diǎn)序列進(jìn)行預(yù)處理，檢測出所述手勢軌跡點(diǎn)序列中的異常點(diǎn)，并進(jìn)行排除；

步驟S2，對(duì)所述預(yù)處理后的手勢軌跡點(diǎn)序列進(jìn)行邊緣化處理，生成歸一化手勢軌跡圖，訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，利用已訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)模型提取所述歸一化手勢軌跡圖的深度特征；

步驟S3，利用已訓(xùn)練的支持向量機(jī)對(duì)所述歸一化手勢軌跡圖的深度特征進(jìn)行類型劃分，以識(shí)別出對(duì)應(yīng)的手勢軌跡點(diǎn)序列的形狀類型；

步驟S4，利用樹形分類器依據(jù)所述手勢軌跡點(diǎn)序列的形狀類型，構(gòu)造出相同形狀類型的不同方向的劃分模型，對(duì)所述預(yù)處理后的手勢軌跡點(diǎn)序列的運(yùn)動(dòng)方向進(jìn)行擬合，依據(jù)不同方向的劃分模型識(shí)別出對(duì)應(yīng)的手勢軌跡點(diǎn)序列的運(yùn)動(dòng)方向類型；

步驟S5，對(duì)識(shí)別出來的形狀類型和方向類型進(jìn)行融合，生成所述手勢軌跡點(diǎn)序列的融合軌跡識(shí)別結(jié)果。

2.如權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)手勢軌跡識(shí)別方法，其特征在于，在所述步驟S1中，所述對(duì)手勢軌跡點(diǎn)序列進(jìn)行預(yù)處理，包括如下步驟：

計(jì)算所述手勢軌跡點(diǎn)序列中相鄰手勢軌跡點(diǎn)對(duì)的歐氏距離，得到多組點(diǎn)對(duì)距離序列；

計(jì)算所述多組點(diǎn)對(duì)距離序列的平均距離和方差；

設(shè)所述多組點(diǎn)對(duì)距離序列服從正態(tài)分布，根據(jù)所述平均距離和方差構(gòu)造卡方檢驗(yàn)統(tǒng)計(jì)量，利用雙邊檢驗(yàn)原理，在顯著性水平為0.05下求導(dǎo)出置信區(qū)間；

判斷每組點(diǎn)對(duì)距離序列是否位于所述置信區(qū)間內(nèi)，如果是，則判斷該組點(diǎn)對(duì)距離序列對(duì)應(yīng)的點(diǎn)位異常點(diǎn)，進(jìn)行排除處理。

3.如權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)手勢軌跡識(shí)別方法，其特征在于，在所述步驟S2中，所述對(duì)預(yù)處理后的手勢軌跡點(diǎn)序列進(jìn)行邊緣化處理，包括如下步驟：

對(duì)所述預(yù)處理后的多組點(diǎn)對(duì)距離序列進(jìn)行遍歷，查找所述預(yù)處理后的多組點(diǎn)對(duì)距離序列中的最大值；

以所述最大值為內(nèi)切圓半徑，以所述手勢軌跡點(diǎn)序列中的各點(diǎn)為中心得到正方形，對(duì)該正方形中的每個(gè)手勢軌跡點(diǎn)進(jìn)行累加計(jì)值；

將數(shù)值大于2的各個(gè)點(diǎn)映射到手勢軌跡圖上，并利用3x3的中通卷積核對(duì)手勢軌跡圖進(jìn)行平滑處理，再利用形態(tài)學(xué)的閉運(yùn)算對(duì)所述手勢軌跡圖進(jìn)行處理，將所述手勢軌跡圖歸一化為預(yù)設(shè)尺寸，生成所述歸一化手勢軌跡圖。

4.如權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)手勢軌跡識(shí)別方法，其特征在于，在所述步驟S2中，訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型，包括如下步驟：

利用深度卷積神經(jīng)網(wǎng)絡(luò)模型抽取所有樣本的深度特征；

利用訓(xùn)練數(shù)據(jù)集的特征，結(jié)合線性支持向量機(jī)，對(duì)每種動(dòng)態(tài)軌跡形狀類型均訓(xùn)練一個(gè)線性支持向量機(jī)模型；

測試各個(gè)類型的線性支持向量機(jī)模型，根據(jù)測試結(jié)果判定預(yù)測率是否達(dá)標(biāo)，若沒有則將負(fù)樣本的特征加入到相應(yīng)的訓(xùn)練數(shù)據(jù)集中，返回上一步，直至預(yù)測率全部達(dá)標(biāo)。

5.如權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)手勢軌跡識(shí)別方法，其特征在于，在所述步驟S2中，所述利用已訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)模型提取所述歸一化手勢軌跡圖的深度特征，包括如下步驟：

將所述歸一化手勢軌跡圖作為樣本輸入至已訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)模型中；

利用所述已訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)所述歸一化手勢軌跡圖進(jìn)行特征提取，以所述深度卷積神經(jīng)網(wǎng)絡(luò)的全連接層輸出的特征元素，作為所述歸一化手勢軌跡圖的深度特征。

6.如權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)手勢軌跡識(shí)別方法，其特征在于，在所述步驟S5中，所述樹形分類器包括以下方向識(shí)別分支條件：用于判斷左右運(yùn)動(dòng)的左右橫段形條件、用于判斷上下運(yùn)動(dòng)的上下豎段形條件、用于判斷順時(shí)針和逆時(shí)針運(yùn)動(dòng)的橢圓形條件、用于判斷L狀自上而下運(yùn)動(dòng)的L形條件和用于判斷反L狀自上而下運(yùn)動(dòng)的反L形條件。