[發明專利]一種基于3D數據的手部特征分析及手勢識別方法在審

申請號：	202011378050.5	申請日：	2020-11-30
公開（公告）號：	CN112464824A	公開（公告）日：	2021-03-09
發明（設計）人：	王臣豪;吳珩	申請（專利權）人：	無錫威萊斯電子有限公司;蘇州春建智能科技有限公司
主分類號：	G06K9/00	分類號：	G06K9/00;G06K9/46;G06K9/62;G06T7/11
代理公司：	北京華際知識產權代理有限公司 11676	代理人：	袁瑞紅
地址：	214000 江蘇省無錫市濱湖***	國省代碼：	江蘇;32
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于數據特征分析手勢識別方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種基于3D數據的手部特征分析及手勢識別方法，包括如下步驟，S100，使用手部分割算法從3D數據中提取出手部區域，然后對分割后的手部圖像進行特征提取；S200，將得到的每幀手部圖像中手形的特征信息以結構體的形式進行儲存，同時，定義一種FIFO結構體向量，用來存儲一段序列中結構體特征信息，FIFO結構體向量的序列大小為N幀；S300，通過不同手形特征在FIFO結構體向量中的組合，設置不同手勢的判斷邏輯；本發明實現了對用戶手勢操作的判斷，提高了手勢識別的準確性和穩定性，滿足了用戶手勢自然表達的需要。

技術領域

本發明涉及一種基于3D數據的手部特征分析及手勢識別方法，屬于圖像識別技術領域。

背景技術

虛擬現實技術的發展，人機交互的方式也越來越多樣化，而基于手勢識別的交互方式成為人機交互的主要方式之一，其原理是利用計算機處理含有手勢的圖像信息，來識別手勢的外部形態；手作為人機交互中特殊的一部分，不僅能使人機交互變得更加和諧自然，還能增加人們的沉浸感和體驗感；由于手本身是多鏈節體，以其特有的高自由度和指骨尺寸小的特點，在運動過程中，其具有的多樣性和多義性，使得基于視覺的手部特征提取和識別方面變得更加困難。

而在手勢識別的過程中，手勢特征提取非常重要；現有交互方法多針對靜態手勢，或只能處理簡單的單模態手勢，或在交互性限制較多而影響手勢交互的可用性，因此，提取手勢多模態特征，對其連續變化的不同因素進行分析是很有必要的，傳統的手勢識別主要是利用機器設備直接檢測手、胳膊各關節的角度和空間位置，外部設備的介入雖使得手勢識別的準確性和穩定性得以提高，但卻掩蓋了手勢自然的表達方式。

發明內容

針對上述存在的技術問題，本發明的目的是：提出了一種基于3D數據的手部特征分析及手勢識別方法，實現對用戶手勢操作的判斷。

本發明的技術解決方案是這樣實現的：一種基于3D數據的手部特征分析及手勢識別方法，包括如下步驟，

S100，使用手部分割算法從3D數據中提取出手部區域，然后對分割后的手部圖像進行特征提取；

S200，將得到的每幀手部圖像中手形的特征信息以結構體的形式進行儲存，同時，定義一種FIFO結構體向量，用來存儲一段序列中結構體特征信息，FIFO結構體向量的序列大小為N幀；

S300，通過不同手形特征在FIFO結構體向量中的組合，設置不同手勢的判斷邏輯。

優選的，在S100中，對分割后的手部圖像進行特征提取，提取的特征有手部區域外接矩形框、距離相機最近的手指凸點、手掌中心點的三維坐標、手部頂端的三維坐標、手掌的方向和手指個數。

優選的，在S100中，使用手部分割算法從3D數據中提取出手部區域，然后對分割后的手部圖像進行特征提取，其步驟包括，

S101，將深度圖像轉換為灰度圖像，然后使用手部分割算法，將手部區域從原始數據中分割出，得到分割后的手部區域；

S102,對分割后的手部區域進行二值化，提取最大連通域的外接矩形，即為手部區域外接矩形框；

S103，通過迭代手部區域的像素點找到手部區域中最大的內切圓，即為手掌區域，同時圓心的位置對應掌心的圖像像素坐標，再使用內參矩陣得到相機坐標系下的掌心中心點的三維坐標；

S104，提取距離相機最近的手指凸點，通過掌心點和手指凸點，得到手指的指向方向θ：其中，m1為掌心點，m2為距離相機最近的手指凸點，θ為傾斜角度，x和y分別為點的x軸坐標和y軸坐標；