[發(fā)明專(zhuān)利]一種基于區(qū)域生長(zhǎng)和機(jī)器學(xué)習(xí)的手部分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810341634.1
• 申請(qǐng)日: 2018-04-17
• 公開(kāi)（公告）號(hào): CN108549871B
• 公開(kāi)（公告）日: 2019-10-11
• 發(fā)明（設(shè)計(jì)）人: 王行;盛贊;周曉軍;李驪;楊淼;李朔
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京華捷艾米科技有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司 32200
• 代理人: 李明

本發(fā)明公開(kāi)了一種基于區(qū)域生長(zhǎng)和機(jī)器學(xué)習(xí)的手部分割方法。該方法首先對(duì)場(chǎng)景深度圖進(jìn)行采集，然后通過(guò)區(qū)域生長(zhǎng)的方式完成手部區(qū)域的分割，生長(zhǎng)需要滿(mǎn)足待定點(diǎn)和當(dāng)前生長(zhǎng)點(diǎn)的深度之差小于閾值1、待定點(diǎn)和種子點(diǎn)的深度之差小于閾值2、待定點(diǎn)和種子點(diǎn)的三維距離之差小于閾值3這三個(gè)約束條件，對(duì)于生長(zhǎng)獲得的生長(zhǎng)區(qū)域，判斷其面積是否滿(mǎn)足要求，進(jìn)而生成生長(zhǎng)區(qū)域，然后將生長(zhǎng)區(qū)域進(jìn)行二分類(lèi)以確定是否為手部區(qū)域。由于利用了手部先驗(yàn)知識(shí)，降低了分類(lèi)的復(fù)雜程度，因此大幅度提升了手部分割及檢測(cè)的準(zhǔn)確度和效率。此外本發(fā)明還提出一種手部分割分類(lèi)器的訓(xùn)練方法。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像處理方法，特別涉及一種基于區(qū)域生長(zhǎng)和機(jī)器學(xué)習(xí)的手部分割方法。

背景技術(shù)

隨著AR交互的不斷發(fā)展，手勢(shì)識(shí)別成為未來(lái)人工智能的一個(gè)重要組成板塊，有效而穩(wěn)定的手部分割算法能為手勢(shì)識(shí)別提供準(zhǔn)確的數(shù)據(jù)輸入。作為手勢(shì)識(shí)別的輸入數(shù)據(jù)之一，深度圖提供的三維位置信息對(duì)手勢(shì)的立體恢復(fù)提供很好的依據(jù)。如何從深度圖中分割出完整的手部數(shù)據(jù)則是手勢(shì)識(shí)別的基礎(chǔ)。相比于傳統(tǒng)的RGB圖像，深度圖的手部檢測(cè)和分割都由于特征有限都難以有效的完成。傳統(tǒng)的深度圖手部分割算法都是按照距離(深度)閾值過(guò)濾出手部區(qū)域，例如只提取深度值(300mm～600mm)的部分作為手部區(qū)域，這種方法完全依賴(lài)于手相對(duì)于傳感器的位置、抗干擾能力弱，而且當(dāng)手后有其他物體(例如手腕、胳膊等)處于深度閾值范圍內(nèi)時(shí)會(huì)產(chǎn)生嚴(yán)重的干擾，一般的深度閾值分割后，經(jīng)常會(huì)帶有大片的胳膊區(qū)域需要在進(jìn)行分類(lèi)處理。

現(xiàn)有的手部分割方法，實(shí)現(xiàn)步驟一般包括：(1)獲取場(chǎng)景的深度圖；(2)根據(jù)深度圖逐像素計(jì)算特征向量，一般以窗口的方式計(jì)算；(3)根據(jù)訓(xùn)練好的分類(lèi)器，對(duì)深度圖數(shù)據(jù)進(jìn)行手臂、手、手腕的分類(lèi)。需要事先為該分類(lèi)器構(gòu)造樣本及樣本特征向量，以訓(xùn)練分類(lèi)器。

然而上述現(xiàn)有方法完全依賴(lài)于手的位置和多分類(lèi)的準(zhǔn)確度，存在以下缺陷：(1)抗干擾能力弱；(如當(dāng)手附近有其他干擾物)；(2)需要至少3～4種類(lèi)別，除了手部樣本還需要包括負(fù)樣本(手腕、手臂等)，樣本制作及數(shù)量要求很高；(3)深度圖的噪聲會(huì)保留；(4)計(jì)算復(fù)雜度高，花費(fèi)時(shí)間長(zhǎng)。

發(fā)明內(nèi)容

為了解決上述現(xiàn)有技術(shù)中的缺陷，本發(fā)明提出一種基于深度及手部尺寸約束的區(qū)域生長(zhǎng)手部分割方法。

本發(fā)明的第一個(gè)方面，提出一種手部分割方法，包括如下步驟：

步驟S110：采集場(chǎng)景的深度圖，并確定深度圖的有效范圍；

步驟S120：將有效范圍內(nèi)的像素按照深度值排序；

步驟S130：從排序后的像素中選取種子點(diǎn)并開(kāi)始生長(zhǎng)；

步驟S140：判斷生長(zhǎng)區(qū)域的面積大小，若面積過(guò)小則重新選取種子點(diǎn)，并返回步驟S130重新進(jìn)行區(qū)域生長(zhǎng)，若面積滿(mǎn)足要求則進(jìn)入步驟S150；

步驟S150：按照生長(zhǎng)區(qū)域的像素索引過(guò)濾深度圖，生成只含生長(zhǎng)區(qū)域的生長(zhǎng)區(qū)域的深度圖；

步驟S160：對(duì)步驟S150獲得的生長(zhǎng)區(qū)域的深度圖實(shí)時(shí)進(jìn)行分類(lèi)，以確定所述生長(zhǎng)區(qū)域的是否為手部區(qū)域；

步驟S170：對(duì)確定為手部區(qū)域的深度圖提取質(zhì)心并計(jì)算其輪廓，從質(zhì)心為初值、輪廓點(diǎn)為數(shù)據(jù)源采用mean-shift算法搜索最優(yōu)手心位置。

本發(fā)明的第二個(gè)方面，提出一種手部分割分類(lèi)器的訓(xùn)練方法，包括如下步驟：

步驟S210：根據(jù)S110～S150的步驟采集大量生長(zhǎng)區(qū)域的深度圖作為訓(xùn)練數(shù)據(jù)集；

步驟S220：人工標(biāo)記訓(xùn)練數(shù)據(jù)集的label；

步驟S230：提取所有訓(xùn)練數(shù)據(jù)集的特征，把這些特征組合成特征向量矩陣；

步驟S240：利用獲得的特征向量矩陣和人工標(biāo)記的所述label訓(xùn)練二分類(lèi)器。