[發(fā)明專利]基于深度卷積神經(jīng)網(wǎng)絡(luò)的自由場(chǎng)景第一視角手指關(guān)鍵點(diǎn)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201610033819.7
• 申請(qǐng)日: 2016-01-19
• 公開(kāi)（公告）號(hào): CN105718879A
• 公開(kāi)（公告）日: 2016-06-29
• 發(fā)明（設(shè)計(jì)）人: 金連文;黃毅超;劉孝睿;張?chǎng)?/a>
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/08
• 代理公司: 廣東廣信君達(dá)律師事務(wù)所 44329
• 代理人: 李斌;楊曉松

1.基于深度卷積神經(jīng)網(wǎng)絡(luò)的自由場(chǎng)景第一視角手指關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，包 括下述步驟：

S1、獲取訓(xùn)練數(shù)據(jù)，通過(guò)定位技術(shù)獲取得到包含手部的區(qū)域，人工標(biāo)記手指關(guān)鍵點(diǎn)所在 的坐標(biāo)，所述手指關(guān)鍵點(diǎn)包括指尖和手指關(guān)節(jié)點(diǎn)；

S2、設(shè)計(jì)一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)，利用該深度卷積網(wǎng)絡(luò)求解點(diǎn)坐標(biāo)回歸問(wèn)題，其目標(biāo)函 數(shù)為四維向量輸出和四維向量真實(shí)值之差的歐氏范數(shù)，并利用定義進(jìn)行誤差反向傳播和梯 度下降對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化；

S3、通過(guò)大量標(biāo)記樣本訓(xùn)練該深度卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，經(jīng)過(guò)迭代到達(dá)穩(wěn)定后，獲 得多層的卷積核參數(shù)；

S4、以任意前景圖片作為輸入，經(jīng)過(guò)網(wǎng)絡(luò)參數(shù)的計(jì)算后得到準(zhǔn)確的手指關(guān)鍵點(diǎn)坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的自由場(chǎng)景第一視角手指關(guān)鍵點(diǎn)檢測(cè) 方法，其特征在于，步驟S1具體為：

S1.1、采集大量實(shí)際場(chǎng)景樣本，以攝像頭處于眼鏡處作為第一視角模擬，進(jìn)行大量錄像 并使得錄像的每一幀包含手勢(shì)姿態(tài)，數(shù)據(jù)樣本需要覆蓋不同場(chǎng)景、光照、姿勢(shì)；然后，切割出 包含手部區(qū)域的矩形前景圖像；

S1.2、人工標(biāo)記手指關(guān)鍵點(diǎn)所在位置的笛卡爾坐標(biāo)，并根據(jù)圖片的原始長(zhǎng)寬進(jìn)行歸一 化存儲(chǔ)，即在一個(gè)長(zhǎng)寬為(w,h)的矩形圖像，手指關(guān)鍵點(diǎn)坐標(biāo)為(a，b)，則歸一化坐標(biāo)為(a/ w,b/h)；

S1.3、轉(zhuǎn)化為一種鍵值對(duì)的數(shù)據(jù)存儲(chǔ)格式，使得圖片與坐標(biāo)配對(duì)存儲(chǔ)。

3.根據(jù)權(quán)利要求2所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的自由場(chǎng)景第一視角手指關(guān)鍵點(diǎn)檢測(cè) 方法，其特征在于，步驟S1.1和S1.2中，

所述手勢(shì)姿態(tài)為單指手勢(shì)姿態(tài)，手指關(guān)鍵點(diǎn)坐標(biāo)經(jīng)過(guò)人工標(biāo)記后，第一視角的畫(huà)面可 見(jiàn)指尖和指關(guān)節(jié)。

4.根據(jù)權(quán)利要求2所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的自由場(chǎng)景第一視角手指關(guān)鍵點(diǎn)檢測(cè) 方法，其特征在于，步驟S1.3中，所述鍵值對(duì)的數(shù)據(jù)存儲(chǔ)格式包括LevelDB或LMDB的數(shù)據(jù)格 式。

5.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的自由場(chǎng)景第一視角手指關(guān)鍵點(diǎn)檢測(cè) 方法，其特征在于，步驟S2具體為：

S2.1、設(shè)計(jì)一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)，該深度卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、池化層和全卷積 層，使得該深度卷積神經(jīng)網(wǎng)絡(luò)輸入為三通道RGB圖像，輸出為二維坐標(biāo)(x,y)；

S2.2、確定其應(yīng)用損失函數(shù)，應(yīng)用損失函數(shù)用下述公式表示：

E=1NΣN(pi-ti)2]]>

其中p_i代表預(yù)測(cè)的坐標(biāo)值，t_i代表訓(xùn)練樣本中已經(jīng)標(biāo)注的坐標(biāo)真實(shí)值，N代表輸出的手 指關(guān)鍵點(diǎn)坐標(biāo)的個(gè)數(shù)；

S2.3通過(guò)損失函數(shù)求解其梯度，求得反向傳播的殘差ε_i為：

ε_i＝p_i-t_i；其中1≤i≤4。

6.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的自由場(chǎng)景第一視角手指關(guān)鍵點(diǎn)檢測(cè) 方法，其特征在于，步驟S3中還包括下述步驟：

訓(xùn)練該深度卷積神經(jīng)網(wǎng)絡(luò)能夠提取不同層級(jí)的低層特征和高層特征。

7.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的自由場(chǎng)景第一視角手指關(guān)鍵點(diǎn)檢測(cè) 方法，其特征在于，步驟S4中；

所述深度卷積神經(jīng)網(wǎng)絡(luò)所輸出的四個(gè)值對(duì)應(yīng)為單指姿態(tài)下的指尖二維歸一化坐標(biāo)(x, y)以及指關(guān)節(jié)二維歸一化坐標(biāo)(x,y)。

8.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的自由場(chǎng)景第一視角手指關(guān)鍵點(diǎn)檢測(cè) 方法，其特征在于，步驟S4具體為：

S4.1、合理預(yù)處理后的前景圖片輸入到網(wǎng)絡(luò)，進(jìn)行一次前向傳播，若一次前向傳播記為 函數(shù)F，則有

(x₁,y₁,x₂,y₂)＝F(Image_RGB)

S4.2、最終輸入為四個(gè)浮點(diǎn)值，代表預(yù)測(cè)的指尖關(guān)鍵點(diǎn)坐標(biāo)(x₁,y₁)和手指關(guān)節(jié)關(guān)鍵點(diǎn) (x₂,y₂),去歸一化后可以得到手指關(guān)鍵點(diǎn)的真實(shí)坐標(biāo)并進(jìn)行可視化。