[發(fā)明專利]基于深度圖的啟發(fā)式手指檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201610823569.7
• 申請(qǐng)日: 2016-09-14
• 公開(kāi)（公告）號(hào): CN107818290B
• 公開(kāi)（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 唐小軍;趙驥伯
• 申請(qǐng)（專利權(quán)）人: 京東方科技集團(tuán)股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 孫之剛;陳嵐

本公開(kāi)提供一種基于深度圖的啟發(fā)式手指檢測(cè)方法。所述方法包括：從用戶的深度圖中獲取手聯(lián)通域；計(jì)算手聯(lián)通域的中心點(diǎn)；計(jì)算手聯(lián)通域中與所述中心點(diǎn)具有3D測(cè)地線距離極大值的多個(gè)極遠(yuǎn)點(diǎn)；從計(jì)算的多個(gè)極遠(yuǎn)點(diǎn)中檢測(cè)手指指尖和手指區(qū)域；和輸出指尖位置及手指區(qū)域。所述方法通過(guò)3D測(cè)地線距離來(lái)計(jì)算和檢測(cè)用戶的手指指尖，而不用提取手區(qū)域的邊界輪廓，提高了手勢(shì)檢測(cè)的魯棒性，降低了檢測(cè)錯(cuò)誤率。該方法具有手指檢測(cè)正確率高，計(jì)算速度快的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本公開(kāi)涉及智能人機(jī)交互和手勢(shì)識(shí)別技術(shù)，更具體而言，本公開(kāi)涉及一種基于深度圖的啟發(fā)式手指檢測(cè)方法、檢測(cè)設(shè)備以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著人機(jī)交互技術(shù)的快速發(fā)展，人機(jī)交互的手段越來(lái)越多，從最開(kāi)始通過(guò)鍵盤和鼠標(biāo)實(shí)現(xiàn)人與計(jì)算機(jī)設(shè)備之間的人機(jī)交互，然后演變到使用手寫板、觸摸屏，乃至發(fā)展到采用手勢(shì)來(lái)實(shí)現(xiàn)人機(jī)交互。人機(jī)交互的方式朝著越來(lái)越直觀、越來(lái)越簡(jiǎn)便的方向發(fā)展，而且這些方式變得越來(lái)越符合人的自然習(xí)慣。

在許多智能設(shè)備系統(tǒng)中，例如在AR（增強(qiáng)現(xiàn)實(shí)）眼鏡、VR（虛擬現(xiàn)實(shí)）頭顯、智能電視等中，都有自動(dòng)檢測(cè)手指動(dòng)作的需求，利用手指動(dòng)作來(lái)實(shí)現(xiàn)與設(shè)備的交互。在這些交互中，通常使用普通的RGB攝像頭來(lái)采集圖像并檢測(cè)手指動(dòng)作。但是這種方法容易受到背景圖像的干擾，導(dǎo)致檢測(cè)準(zhǔn)確度不高。近年來(lái)隨著深度攝像頭的逐漸普及，越來(lái)越多的研究機(jī)構(gòu)和公司開(kāi)始使用深度圖來(lái)檢測(cè)手指動(dòng)作，使用深度圖的方法的檢測(cè)正確率比基于RGB攝像頭的方法高。

現(xiàn)有的基于深度圖的手指檢測(cè)方法通常采用輪廓曲率極大值檢測(cè)指尖。該方法首先提取手區(qū)域的邊界輪廓，然后逐點(diǎn)計(jì)算輪廓點(diǎn)的曲率，選擇曲率極大指點(diǎn)作為指尖候選點(diǎn)。但是，在背景圖像較為復(fù)雜的條件，這種方法仍然有相當(dāng)大的檢測(cè)錯(cuò)誤率。

發(fā)明內(nèi)容

為了解決或緩解上述現(xiàn)有技術(shù)中的至少一個(gè)缺陷，期望提供一種新的手指檢測(cè)技術(shù)，該技術(shù)能夠?qū)崿F(xiàn)更高的檢測(cè)正確率和更快的檢測(cè)速度。

根據(jù)一個(gè)方面，提供了一種手指檢測(cè)方法，包括：從用戶的深度圖中獲取手聯(lián)通域；計(jì)算手聯(lián)通域的中心點(diǎn)；計(jì)算手聯(lián)通域中與所述中心點(diǎn)具有3D測(cè)地線距離極大值的多個(gè)極遠(yuǎn)點(diǎn)；從計(jì)算的多個(gè)極遠(yuǎn)點(diǎn)中檢測(cè)手指指尖和手指區(qū)域；和輸出指尖位置及手指區(qū)域。

在一個(gè)實(shí)施例中，從用戶的深度圖中獲取手聯(lián)通域進(jìn)一步包括：用圖像生長(zhǎng)方法檢測(cè)用戶的深度圖中所有的聯(lián)通域；和從檢測(cè)到的聯(lián)通域中選擇深度最小的聯(lián)通域作為手聯(lián)通域。

在一個(gè)實(shí)施例中，從用戶的深度圖中獲取手聯(lián)通域進(jìn)一步包括：確定檢測(cè)到的聯(lián)通域中每一個(gè)聯(lián)通域的最小深度作為所述聯(lián)通域的深度。

在一個(gè)實(shí)施例中，所述圖像生長(zhǎng)方法進(jìn)一步包括：對(duì)于每一個(gè)聯(lián)通域，執(zhí)行如下步驟：

建立一個(gè)FIFO隊(duì)列，并選擇所述聯(lián)通域中的一個(gè)像素點(diǎn)作為初始像素點(diǎn)放入所述FIFO隊(duì)列中；

針對(duì)所述FIFO隊(duì)列迭代執(zhí)行如下操作，一直到所述FIFO隊(duì)列中沒(méi)有像素點(diǎn)需要處理為止：

取出所述FIFO隊(duì)列中的當(dāng)前像素點(diǎn)；

比較所述當(dāng)前像素點(diǎn)的深度以及它的4個(gè)相鄰像素點(diǎn)中沒(méi)有加入任何聯(lián)通域的每一個(gè)相鄰像素點(diǎn)的深度；和

如果相鄰像素點(diǎn)與所述當(dāng)前像素點(diǎn)之間的深度差小于第一閾值Th1，則將所述相鄰像素點(diǎn)添加到所述聯(lián)通域中以及所述FIFO隊(duì)列中；以及

輸出所述聯(lián)通域。

在一個(gè)實(shí)施例中，所述圖像生長(zhǎng)方法進(jìn)一步包括：對(duì)于每一個(gè)聯(lián)通域，檢測(cè)所述聯(lián)通域的上、下、左、右邊界。

在一個(gè)實(shí)施例中，所述第一閾值Th1取值范圍參考值為10－15毫米。