[發(fā)明專利]一種三維人手關(guān)鍵點定位方法及裝置

在審

• 申請?zhí)枺?/td>: 202010034582.0
• 申請日: 2020-01-14
• 公開（公告）號: CN110852311A
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計）人: 陳俊逸
• 申請（專利權(quán)）人: 長沙小鈷科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06N3/04
• 代理公司: 長沙德恒三權(quán)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43229
• 代理人: 徐仰貴

本發(fā)明實施例提供了一種三維人手關(guān)鍵點定位方法及裝置，所述方法包括：獲取實際場景的深度圖像；通過第一神經(jīng)網(wǎng)絡(luò)對所述深度圖像進(jìn)行手掌區(qū)域分割，得到分割后的手掌區(qū)域；對所述手掌區(qū)域進(jìn)行歸一化處理及尺寸變換，得到歸一化后的手掌區(qū)域的深度圖；通過第二神經(jīng)網(wǎng)絡(luò)判斷所述歸一化后的手掌區(qū)域的深度圖對應(yīng)的實際場景中是否包含真人手掌；若包含，則通過第三神經(jīng)網(wǎng)絡(luò)預(yù)測所述歸一化后的手掌區(qū)域的深度圖的關(guān)鍵點坐標(biāo)，并通過預(yù)測的所述歸一化后的手掌區(qū)域的深度圖的關(guān)鍵點坐標(biāo)確定所述實際場景的深度圖像中的手掌的關(guān)鍵點坐標(biāo)，從而可提高人手關(guān)鍵點三維定位的實用性和可靠性。

技術(shù)領(lǐng)域

本發(fā)明屬于人工智能技術(shù)領(lǐng)域，具體是涉及到一種三維人手關(guān)鍵點定位方法、裝置、終端設(shè)備及計算機(jī)可讀介質(zhì)。

背景技術(shù)

掌紋、掌脈等生物特征識別技術(shù)以及手勢識別技術(shù)均需要對圖像進(jìn)行手掌檢測和關(guān)鍵點定位。掌紋識別中，快速準(zhǔn)確識別手掌區(qū)域是關(guān)鍵，會影響到掌紋識別的性能。手勢識別過程中，如果能夠獲得人手指、手掌的關(guān)節(jié)點的坐標(biāo)位置，就可以通過手指和手掌的相對位置關(guān)系判斷手勢。因此，手掌區(qū)域定位和手掌關(guān)鍵點定位非常重要。已有的手掌關(guān)鍵點檢測主要基于二維RGB圖像或者近紅外圖像進(jìn)行檢測，主要技術(shù)包括三類。第一類是利用手掌的顏色信息進(jìn)行手掌與背景的分割，并根據(jù)手掌的輪廓信息進(jìn)行關(guān)鍵點位置推斷；第二類是直接使用輪廓提取算法對圖像中的手掌進(jìn)行輪廓提取，獲得包含手指、手掌、手腕等部位的輪廓信息，并依據(jù)此信息進(jìn)行進(jìn)一步的關(guān)鍵點推斷；第三類是利用深度學(xué)習(xí)技術(shù)，對圖像使用物體檢測的深度神經(jīng)網(wǎng)絡(luò)，直接得到包含手掌的矩形框，然后定位手指指節(jié)紋線線段，進(jìn)而獲得手指、手掌的關(guān)節(jié)點位置，即關(guān)鍵點位置。

與本發(fā)明最相近的專利為CN 108427942 A，該專利包括以下步驟：S1、采集訓(xùn)練樣本；S2、構(gòu)建網(wǎng)絡(luò)模型：構(gòu)建CNN（卷積神經(jīng)網(wǎng)絡(luò)）特征提取網(wǎng)絡(luò)、RPN（區(qū)域生成網(wǎng)絡(luò)）候選區(qū)域提取網(wǎng)絡(luò)和判別網(wǎng)絡(luò)；S3、訓(xùn)練網(wǎng)絡(luò)模型：初始化CNN特征提取網(wǎng)絡(luò)、RPN候選區(qū)域提取網(wǎng)絡(luò)和判別網(wǎng)絡(luò)；S4、構(gòu)建檢測模型；S5：手掌檢測和關(guān)鍵點定位。該專利提出的技術(shù)使用了當(dāng)時性能最高的物體檢測框架Faster R-CNN進(jìn)行手掌區(qū)域快速定位，并使用關(guān)鍵點定位網(wǎng)絡(luò)模型對待檢測的手掌圖像進(jìn)行手掌輪廓檢測與關(guān)鍵點定位。該專利使用近紅外圖像作為物體檢測框架和關(guān)鍵點定位網(wǎng)絡(luò)模型的輸入，與RGB圖像相比，受光線影響相對較小，但光線依然會造成影響，同時無法防偽，如果使用打印好的靜態(tài)二維手掌圖片，也能夠直接識別，這使得后續(xù)的生物特征識別和手勢識別不可靠。此外，該專利使用二維近紅外圖像做關(guān)鍵點定位，無法定位關(guān)鍵點的三維信息，當(dāng)手掌存在角度偏轉(zhuǎn)時，二維圖片的手勢識別會受到嚴(yán)重影響。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供一種三維人手關(guān)鍵點定位方法、裝置、終端設(shè)備及計算機(jī)可讀介質(zhì)，能夠提高人手關(guān)鍵點三維定位的實用性和可靠性。

本發(fā)明實施例的第一方面提供了一種三維人手關(guān)鍵點定位方法，包括：

獲取實際場景的深度圖像；

通過第一神經(jīng)網(wǎng)絡(luò)對所述深度圖像進(jìn)行手掌區(qū)域分割，得到分割后的手掌區(qū)域；

對所述手掌區(qū)域進(jìn)行歸一化處理及尺寸變換，得到歸一化后的手掌區(qū)域的深度圖；

通過第二神經(jīng)網(wǎng)絡(luò)判斷所述歸一化后的手掌區(qū)域的深度圖對應(yīng)的實際場景中是否包含真人手掌；

若包含，則通過第三神經(jīng)網(wǎng)絡(luò)預(yù)測所述歸一化后的手掌區(qū)域的深度圖的關(guān)鍵點坐標(biāo)，并通過預(yù)測的所述歸一化后的手掌區(qū)域的深度圖的關(guān)鍵點坐標(biāo)確定所述實際場景的深度圖像中的手掌的關(guān)鍵點坐標(biāo)。

本發(fā)明實施例的第二方面提供了一種三維人手關(guān)鍵點定位裝置，包括：

獲取模塊，用于獲取實際場景的深度圖像；

分割模塊，用于通過第一神經(jīng)網(wǎng)絡(luò)對所述深度圖像進(jìn)行手掌區(qū)域分割，得到分割后的手掌區(qū)域；