[發(fā)明專利]一種基于3D數(shù)據(jù)的手部特征分析及手勢識別方法

在審

• 申請?zhí)枺?/td>: 202011378050.5
• 申請日: 2020-11-30
• 公開（公告）號: CN112464824A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 王臣豪;吳珩
• 申請（專利權(quán)）人: 無錫威萊斯電子有限公司;蘇州春建智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06T7/11
• 代理公司: 北京華際知識產(chǎn)權(quán)代理有限公司 11676
• 代理人: 袁瑞紅

1.一種基于3D數(shù)據(jù)的手部特征分析及手勢識別方法，其特征在于：包括如下步驟，

S100，使用手部分割算法從3D數(shù)據(jù)中提取出手部區(qū)域，然后對分割后的手部圖像進(jìn)行特征提取；

S200，將得到的每幀手部圖像中手形的特征信息以結(jié)構(gòu)體的形式進(jìn)行儲存，同時(shí)，定義一種FIFO結(jié)構(gòu)體向量，用來存儲一段序列中結(jié)構(gòu)體特征信息，F(xiàn)IFO結(jié)構(gòu)體向量的序列大小為N幀；

S300，通過不同手形特征在FIFO結(jié)構(gòu)體向量中的組合，設(shè)置不同手勢的判斷邏輯。

2.如權(quán)利要求1所述的一種基于3D數(shù)據(jù)的手部特征分析及手勢識別方法，其特征在于：在S100中，對分割后的手部圖像進(jìn)行特征提取，提取的特征有手部區(qū)域外接矩形框、距離相機(jī)最近的手指凸點(diǎn)、手掌中心點(diǎn)的三維坐標(biāo)、手部頂端的三維坐標(biāo)、手掌的方向和手指個(gè)數(shù)。

3.如權(quán)利要求2所述的一種基于3D數(shù)據(jù)的手部特征分析及手勢識別方法，其特征在于：在S100中，使用手部分割算法從3D數(shù)據(jù)中提取出手部區(qū)域，然后對分割后的手部圖像進(jìn)行特征提取，其步驟包括，

S101，將深度圖像轉(zhuǎn)換為灰度圖像，然后使用手部分割算法，將手部區(qū)域從原始數(shù)據(jù)中分割出，得到分割后的手部區(qū)域；

S102,對分割后的手部區(qū)域進(jìn)行二值化，提取最大連通域的外接矩形，即為手部區(qū)域外接矩形框；

S103，通過迭代手部區(qū)域的像素點(diǎn)找到手部區(qū)域中最大的內(nèi)切圓，即為手掌區(qū)域，同時(shí)圓心的位置對應(yīng)掌心的圖像像素坐標(biāo)，再使用內(nèi)參矩陣得到相機(jī)坐標(biāo)系下的掌心中心點(diǎn)的三維坐標(biāo)；

S104，提取距離相機(jī)最近的手指凸點(diǎn)，通過掌心點(diǎn)和手指凸點(diǎn)，得到手指的指向方向θ：

其中，m1為掌心點(diǎn)，m2為距離相機(jī)最近的手指凸點(diǎn)，θ為傾斜角度，x和y分別為點(diǎn)的x軸坐標(biāo)和y軸坐標(biāo)；

S105，使用最小二乘擬合橢圓的方法得到手部區(qū)域的外接橢圓，得到其主軸方向；

S106，手部頂端通過求得圖像像素坐標(biāo)最高點(diǎn)得到，然后由該坐標(biāo)位置的灰度值求得距離相機(jī)的距離，再由內(nèi)參得到其對應(yīng)的三維坐標(biāo)；

S107，使用迭代若干次細(xì)化的方式，將手指之間進(jìn)行分離，再以掌心為圓心，1.8倍的掌心圓R為半徑，畫一個(gè)實(shí)心圓，計(jì)算連通區(qū)域的個(gè)數(shù)，篩除小的連通區(qū)域，剩下的連通區(qū)域的個(gè)數(shù)即為手指的個(gè)數(shù)。

4.如權(quán)利要求1所述的一種基于3D數(shù)據(jù)的手部特征分析及手勢識別方法，其特征在于：在S200中，F(xiàn)IFO結(jié)構(gòu)體向量進(jìn)行儲存時(shí)遵循先進(jìn)先出的原則，每一幀對應(yīng)一次存入的結(jié)構(gòu)體特征信息。

5.如權(quán)利要求4所述的一種基于3D數(shù)據(jù)的手部特征分析及手勢識別方法，其特征在于：在S200中，F(xiàn)IFO結(jié)構(gòu)體向量的清空規(guī)則為：

當(dāng)FIFO結(jié)構(gòu)體向量存滿時(shí)，刪除第一次存入的特征，將當(dāng)前幀結(jié)構(gòu)體特征存在序列尾端；

當(dāng)識別到一種手勢時(shí)，立即清空序列中的所有結(jié)構(gòu)體特征；

當(dāng)超過一段時(shí)間沒有新的特征信息存入時(shí)，清空序列中的所有結(jié)構(gòu)體特征。

6.如權(quán)利要求1所述的一種基于3D數(shù)據(jù)的手部特征分析及手勢識別方法，其特征在于：在S300，不同手勢包括靜止的手掌5、右揮動作、靜止的手指2、手或指順時(shí)針旋轉(zhuǎn)、手或指逆時(shí)針旋轉(zhuǎn)、掌變?nèi)謩荨⑷冋剖謩荨⑷^移動和前推手勢。