[發(fā)明專(zhuān)利]一種基于深度圖像的手部輪廓特征優(yōu)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810285718.8
• 申請(qǐng)日: 2018-03-23
• 公開(kāi)（公告）號(hào): CN108520264A
• 公開(kāi)（公告）日: 2018-09-11
• 發(fā)明（設(shè)計(jì)）人: 劉佩林;金珂;葛昊;應(yīng)忍冬;鄒耀
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海數(shù)跡智能科技有限公司
• 主分類(lèi)號(hào): G06K9/46
• 分類(lèi)號(hào): G06K9/46;G06K9/00;G06T7/181;G06T7/11;G06T7/136;G06T7/66;G06T7/62
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于深度圖像的手部輪廓特征優(yōu)化方法，其特征是：該方法包括如下步驟：(1)讀入深度圖像，預(yù)處理并得到包含冗余輪廓的手部區(qū)域圖；(2)計(jì)算初始迭代點(diǎn)和迭代半徑，初始迭代點(diǎn)盡量靠近手指尖；(3)利用均值漂移算法進(jìn)行迭代，找到最接近手掌的圓形區(qū)域，返回圓心與半徑；(4)更新手部區(qū)域輪廓，將冗余輪廓剔除，得到精確的手部區(qū)域輪廓；(5)利用凸包檢測(cè)算法得到手部區(qū)域的外部凸包輪廓，并結(jié)合內(nèi)輪廓與外凸包的Hu不變矩信息，得到14維輪廓特征向量。該優(yōu)化方法利用均值漂移和凸包檢測(cè)算法的手部輪廓特征優(yōu)化法可以有效去除小臂、衣袖等其他冗余輪廓信息，提高最終手勢(shì)識(shí)別系統(tǒng)的穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)和人機(jī)交互技術(shù)領(lǐng)域，具體為一種基于深度圖像的 手部輪廓特征優(yōu)化方法。

背景技術(shù)

專(zhuān)利號(hào)為201510282688.1的中國(guó)發(fā)明專(zhuān)利公開(kāi)了一種基于深度圖像的手 部特征點(diǎn)檢測(cè)方法，其包括以下步驟：(1)手部分割：利用Kinect采集到人 體運(yùn)動(dòng)視頻序列來(lái)提取手部，通過(guò)深度圖像利用Openni得到人體手部位置 信息，通過(guò)設(shè)定搜索區(qū)域及深度閾值方法，初步獲得手心點(diǎn)；利用Opencv 的find_contours函數(shù)得到手部輪廓；通過(guò)找到手輪廓內(nèi)最大內(nèi)接圓圓心， 精確確定手部手心點(diǎn)，通過(guò)計(jì)算所有手部?jī)?nèi)部點(diǎn)到輪廓點(diǎn)之間的最短距離m， 在最短距離中找到最大值M，M所代表的手部?jī)?nèi)部點(diǎn)為手心點(diǎn)，內(nèi)接圓半徑 R＝M；(2)特征點(diǎn)提取：通過(guò)不斷對(duì)手部輪廓進(jìn)行高斯平滑，并結(jié)合曲率閾 值從而得到CSS曲率圖，根據(jù)圖中CSS輪廓分析極限值得出手部指尖點(diǎn)及指 谷點(diǎn)坐標(biāo)，同時(shí)需要補(bǔ)全根據(jù)CSS曲率圖無(wú)法得到的手部指谷點(diǎn)；(3)補(bǔ)全 缺失手指，利用角度閾值和深度跳變結(jié)合的方式來(lái)補(bǔ)全缺失手指，從而找到 彎曲手指的指尖點(diǎn)。

然而，這種基于設(shè)定搜索區(qū)域及深度閾值方法提取的手部輪廓特征會(huì)附 帶小臂、衣袖等其他物體的輪廓，這些冗余輪廓會(huì)造成輪廓特征提取質(zhì)量較 差，在特征向量化過(guò)程中與預(yù)期特征不符，導(dǎo)致最終手勢(shì)識(shí)別系統(tǒng)的識(shí)別精 度較低。

為此，申請(qǐng)人進(jìn)行了有益的探索和嘗試，找到了解決上述問(wèn)題的辦法，下 面將要介紹的技術(shù)方案便是在這種背景下產(chǎn)生的。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于深度圖像的手部輪廓特征優(yōu)化方法，以 解決上述背景技術(shù)中提出的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于深度圖像的手部 輪廓特征優(yōu)化方法，該方法包括如下步驟：

(6)讀入深度圖像，預(yù)處理并得到包含冗余輪廓的手部區(qū)域圖；

(7)計(jì)算初始迭代點(diǎn)和迭代半徑，初始迭代點(diǎn)盡量靠近手指尖；

(8)利用均值漂移算法進(jìn)行迭代，找到最接近手掌的圓形區(qū)域，返回圓 心與半徑；

(9)更新手部區(qū)域輪廓，將冗余輪廓剔除，得到精確的手部區(qū)域輪廓；

(10)利用凸包檢測(cè)算法得到手部區(qū)域的外部凸包輪廓，并結(jié)合內(nèi)輪廓 與外凸包的Hu不變矩信息，得到14維輪廓特征向量。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述的步驟 (1)中，深度圖像預(yù)處理模塊對(duì)深度圖像進(jìn)行閾值切割、圖形學(xué)濾波并計(jì)算 最大連通區(qū)域，包括以下步驟：

(a)利用深度閾值得到手部區(qū)域，并將其映射到二值圖像，包含冗余輪 廓，白色前景表示手部區(qū)域，背景為黑色；

(b)利用圖形學(xué)運(yùn)算，先做開(kāi)運(yùn)算，平滑圖像輪廓并去除背景噪聲，再 做閉運(yùn)算，填充目標(biāo)內(nèi)的細(xì)小孔洞；

(c)尋找最大面積輪廓，并認(rèn)為該輪廓為手部區(qū)域輪廓，包含冗余輪廓， 填補(bǔ)該輪廓內(nèi)的孔洞。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(2) 中，包括從初步提取的手部區(qū)域中選取初始迭代點(diǎn)和迭代半徑的步驟，該步 驟包括以下步驟：