[發(fā)明專(zhuān)利]基于全景3D圖像的微手勢(shì)識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810306498.2
• 申請(qǐng)日: 2018-04-08
• 公開(kāi)（公告）號(hào): CN108564020B
• 公開(kāi)（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 雷濤;加小紅;張宇嘯;李云彤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 陜西科技大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/34;G06K9/46;G06K9/62
• 代理公司: 西安新思維專(zhuān)利商標(biāo)事務(wù)所有限公司 61114
• 代理人: 李罡

本發(fā)明涉及基于全景3D圖像的微手勢(shì)識(shí)別方法，利用形態(tài)學(xué)濾波算法提升HoMG圖像中的水平和豎直線(xiàn)條，增強(qiáng)線(xiàn)條與背景的對(duì)比度，通過(guò)快速模糊C均值聚類(lèi)算法分割濾波圖像，檢測(cè)線(xiàn)條輪廓，根據(jù)形態(tài)學(xué)細(xì)化算法準(zhǔn)確定位線(xiàn)條位置，利用線(xiàn)條間隔的最小方差計(jì)算基準(zhǔn)坐標(biāo)，構(gòu)建網(wǎng)格坐標(biāo)，利用網(wǎng)格坐標(biāo)重建多張清晰的子圖像，把重建后的子圖像作為CNN模型的輸入數(shù)據(jù)，從而完成微手勢(shì)識(shí)別。本發(fā)明主要解決模糊網(wǎng)格導(dǎo)致HoMG圖像識(shí)別精度低的問(wèn)題，能有效提高基于HoMG圖像的微手勢(shì)識(shí)別精度，可廣泛應(yīng)用于人機(jī)交互領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及模式識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于全景3D圖像的微手勢(shì)識(shí)別方法。

背景技術(shù)

手勢(shì)識(shí)別是人機(jī)交互的關(guān)鍵步驟，在機(jī)器視覺(jué)和虛擬現(xiàn)實(shí)中有著廣泛的應(yīng)用。目前，基于手勢(shì)識(shí)別的算法大致可分為兩類(lèi)：一類(lèi)是手套采集方法；一類(lèi)是視覺(jué)識(shí)別方法；第一類(lèi)方法利用手套上的多個(gè)傳感器來(lái)記錄手勢(shì)數(shù)據(jù)，雖然識(shí)別準(zhǔn)確度高，但由于手套上傳感器的限制，導(dǎo)致手勢(shì)內(nèi)容相對(duì)單一，實(shí)用性較差。第二類(lèi)方法則利用Kinect和RGB-D相機(jī)捕捉手勢(shì)的深度信息，通過(guò)挖掘深度信息進(jìn)行手勢(shì)識(shí)別，由于視覺(jué)識(shí)別具有直觀(guān)、方便等特點(diǎn)，所以基于視覺(jué)的手勢(shì)識(shí)別算法越來(lái)越受到使用者的青睞。

傳統(tǒng)的手勢(shì)識(shí)別主要由三個(gè)步驟組成，即手勢(shì)分割、特征提取和分類(lèi)器選擇，其中手勢(shì)分割是為了確定手勢(shì)的大致輪廓，減少?gòu)?fù)雜背景對(duì)后續(xù)處理的干擾。特征提取是為了去除冗余信息，利用目標(biāo)特征來(lái)表示原始圖像。最后選擇合適的分類(lèi)器對(duì)特征數(shù)據(jù)進(jìn)行分類(lèi)。特征描述子和分類(lèi)器類(lèi)型較多，需憑借經(jīng)驗(yàn)選擇恰當(dāng)?shù)奶卣髅枋鲎雍头诸?lèi)器類(lèi)型。

由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)能自動(dòng)學(xué)習(xí)圖像特征，所以CNN模型已廣泛應(yīng)用于圖像分類(lèi)和目標(biāo)檢測(cè)中。近年來(lái)，學(xué)者們提出了大量改進(jìn)的CNN模型并將其應(yīng)用于手勢(shì)識(shí)別。其中，Arenas等人提出了基于區(qū)域的CNN手勢(shì)識(shí)別方法，該方法能夠?qū)崿F(xiàn)不同背景下的動(dòng)態(tài)手勢(shì)識(shí)別，但不利于微手勢(shì)的識(shí)別。等人通過(guò)聯(lián)合CNN模型和長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)，提出了CNN+LSTM的手勢(shì)識(shí)別算法，雖然該方法能獲得更高的手勢(shì)識(shí)別結(jié)果，但由于需要兩級(jí)網(wǎng)絡(luò)導(dǎo)致該方法的計(jì)算復(fù)雜度較高。針對(duì)Kinect和RGB-D相機(jī)不能捕獲圖像微小變化的問(wèn)題，Liu等人利用全景3D成像系統(tǒng)創(chuàng)建了全景3D微手勢(shì)圖庫(kù)(Holoscopic 3D Micro-Gesture,HoMG)，全景3D成像系統(tǒng)是利用尺寸大小為28×28的微鏡頭陣列來(lái)采集信息，雖然每個(gè)鏡頭有效記錄了手勢(shì)的局部偏差，但也造成了HoMG圖像中模糊網(wǎng)格的出現(xiàn)，由于模糊網(wǎng)格的干擾，導(dǎo)致傳統(tǒng)的特征描述子和CNN模型難以有效提取圖像特征，微手勢(shì)識(shí)別精度較低。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于全景3D圖像的微手勢(shì)識(shí)別方法，解決了現(xiàn)有技術(shù)中由于HoMG圖庫(kù)中模糊網(wǎng)格的干擾導(dǎo)致傳統(tǒng)特征描述子和CNN模型不能有效提取圖像特征的技術(shù)缺陷。

本發(fā)明所采用的技術(shù)方案為：

基于全景3D圖像的微手勢(shì)識(shí)別方法，其特征在于：

由以下步驟實(shí)現(xiàn)：

首先，利用形態(tài)學(xué)濾波算法提升HoMG圖像中的水平和豎直線(xiàn)條，增強(qiáng)線(xiàn)條與背景的對(duì)比度；

其次，通過(guò)快速模糊C均值聚類(lèi)算法分割濾波圖像，檢測(cè)線(xiàn)條輪廓；

然后，根據(jù)形態(tài)學(xué)細(xì)化算法準(zhǔn)確定位線(xiàn)條位置，利用線(xiàn)條間隔的最小方差計(jì)算基準(zhǔn)坐標(biāo)，構(gòu)建網(wǎng)格坐標(biāo)；

最后，利用網(wǎng)格坐標(biāo)重建多張清晰的子圖像，把重建后的子圖像作為CNN模型的輸入數(shù)據(jù)，從而完成微手勢(shì)識(shí)別。

具體包括以下步驟：

(1)輸入HoMG圖像f；

(2)對(duì)f進(jìn)行水平和豎直形態(tài)學(xué)濾波，得到濾波后的圖像為ξ_h和ξ_v；