[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的手掌關(guān)鍵點(diǎn)定位方法

有效

• 申請?zhí)枺?/td>: 201810363953.2
• 申請日: 2018-04-22
• 公開（公告）號(hào): CN108537203B
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計(jì)）人: 謝清祿;余孟春;鄒向群;徐宏鍇
• 申請（專利權(quán)）人: 廣州麥侖信息科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的手掌關(guān)鍵點(diǎn)定位方法，其特征在于：該基于卷積神經(jīng)網(wǎng)絡(luò)的手掌關(guān)鍵點(diǎn)定位方法具體步驟如下：

S1、采集手掌圖像，并標(biāo)記關(guān)鍵點(diǎn)信息，作為訓(xùn)練樣本集輸入到卷積神經(jīng)網(wǎng)絡(luò)，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練；卷積神經(jīng)網(wǎng)絡(luò)包含卷積層和池化層，卷積層用于特征圖的計(jì)算，池化層用于降低特征圖的尺寸，同時(shí)保持特征圖的旋轉(zhuǎn)與平移特性，具體如下：

當(dāng)特征圖達(dá)到設(shè)計(jì)的尺寸與層數(shù)要求時(shí)，將二維的特征圖按照順序排列起來轉(zhuǎn)換為一維的特征向量，最后通過全連接層進(jìn)行連接并輸出，其中，卷積層的運(yùn)算可表示為：

其中，X^(l,k)表示第l層輸出的第k組特征圖，n_l表示第l層特征圖的層數(shù)，W^(l,k,p)表示第l-1層中第p組特征圖向第l層中第k組特征圖映射時(shí)所需要的濾波器，第l層的每一組特征圖的生成都需要n_l-1個(gè)濾波器與一個(gè)偏置；

池化層采用最大值池化方法，特征圖像經(jīng)過最大值池化后的大小會(huì)根據(jù)步長step縮小至原來的1/step，最大值池化的形式可表示為：

其中，X^(l+1,k)(m,n)為第l+1層輸出的第k組特征圖坐標(biāo)(m,n)處的值，s為池化核的大小，step為池化核移動(dòng)時(shí)的步長，s與step均設(shè)置為2；

S2、卷積神經(jīng)網(wǎng)絡(luò)的第一層，檢測手掌圖像，將手掌圖像劃分為手指區(qū)域與掌部區(qū)域兩部分，并收集手指區(qū)域圖像作為數(shù)據(jù)集；

S3、第二層對第一層卷積神經(jīng)網(wǎng)絡(luò)收集到的手指區(qū)域圖像數(shù)據(jù)集進(jìn)行關(guān)鍵點(diǎn)定位，定位每根手指的6個(gè)關(guān)鍵點(diǎn)，并剪裁出4根手指圖像作為數(shù)據(jù)集；

S4、卷積神經(jīng)網(wǎng)絡(luò)第三層，定位每根手指的下指節(jié)下端關(guān)節(jié)線段中點(diǎn)與對應(yīng)手指范圍內(nèi)距離線段中點(diǎn)的指尖端最遠(yuǎn)點(diǎn)，下指節(jié)關(guān)節(jié)線段中點(diǎn)和指尖端最遠(yuǎn)點(diǎn)作為手指的2個(gè)關(guān)鍵點(diǎn)；

S5、卷積神經(jīng)網(wǎng)絡(luò)取相鄰的兩指下指節(jié)下端關(guān)節(jié)線段中點(diǎn)進(jìn)行連接，連接線的中點(diǎn)作為手掌關(guān)鍵點(diǎn)，四指間的3個(gè)手掌關(guān)鍵點(diǎn)分別定義為GapB、GapC和GapD。

2.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的手掌關(guān)鍵點(diǎn)定位方法，其特征在于：步驟S1中的手掌圖像通過拍攝設(shè)備進(jìn)行采集，同時(shí)利用圖像增強(qiáng)技術(shù)將圖像預(yù)處理，使手掌圖像符合格式要求，對手掌圖像進(jìn)行關(guān)鍵點(diǎn)標(biāo)記，作為訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的樣本集輸入并訓(xùn)練。

3.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的手掌關(guān)鍵點(diǎn)定位方法，其特征在于：步驟S3中的手指關(guān)鍵點(diǎn)是以指關(guān)節(jié)紋路下端線段在圖像上的兩端點(diǎn)作為關(guān)鍵點(diǎn)進(jìn)行標(biāo)記，每根手指有3條指關(guān)節(jié)紋路下端線段，則每根手指可定位得到6個(gè)手指區(qū)域關(guān)鍵點(diǎn)。

4.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的手掌關(guān)鍵點(diǎn)定位方法，其特征在于：根據(jù)第二層卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，對每根手指區(qū)域估計(jì)其旋轉(zhuǎn)角度，將每根手指按照估計(jì)的旋轉(zhuǎn)角度進(jìn)行矯正，將矯正后的圖像收集作為新的訓(xùn)練樣本。

5.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的手掌關(guān)鍵點(diǎn)定位方法，其特征在于：步驟S4所述的關(guān)鍵點(diǎn)是定位到的手指下指節(jié)紋路下端線段的中點(diǎn)和對應(yīng)手指范圍內(nèi)距離線段中點(diǎn)的指尖端最遠(yuǎn)點(diǎn)，這兩點(diǎn)作為手指的2個(gè)關(guān)鍵點(diǎn)；所述的手指下指節(jié)，自指尖開始，手指關(guān)節(jié)部位依次定義為上指節(jié)、中指節(jié)和下指節(jié)。

6.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的手掌關(guān)鍵點(diǎn)定位方法，其特征在于：步驟S4第三層卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，根據(jù)圖像矯正步驟中每根手指的旋轉(zhuǎn)角度，對每根手指圖像進(jìn)行角度回旋，將回旋后的手指圖像組合成手指區(qū)域圖像并收集作為新的訓(xùn)練樣本。

7.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的手掌關(guān)鍵點(diǎn)定位方法，其特征在于：步驟S5所述的手掌關(guān)鍵點(diǎn)分別定義為GapB、GapC和GapD，GapB為食指和中指間的關(guān)鍵點(diǎn)，GapC為中指與無名指間的關(guān)鍵點(diǎn)，GapD為無名指和小拇指間的關(guān)鍵點(diǎn)。