[發(fā)明專(zhuān)利]利用手勢(shì)識(shí)別控制數(shù)字標(biāo)牌的方法和系統(tǒng)

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201210275661.6
• 申請(qǐng)日: 2012-08-03
• 公開(kāi)（公告）號(hào): CN102830801A
• 公開(kāi)（公告）日: 2012-12-19
• 發(fā)明（設(shè)計(jì)）人: 朱明;鄭陽(yáng);劉銳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06F3/048
• 代理公司: 北京維澳專(zhuān)利代理有限公司 11252
• 代理人: 馬佑平

技術(shù)領(lǐng)域

本發(fā)明涉及人機(jī)視覺(jué)互動(dòng)領(lǐng)域，尤其是指一種利用手勢(shì)識(shí)別控制數(shù)字標(biāo)牌進(jìn)行鼠標(biāo)點(diǎn)擊操作的方法和系統(tǒng)。

背景技術(shù)

當(dāng)前主流公告廣告展示形式主要有兩種：非互動(dòng)數(shù)字標(biāo)牌和利用觸摸屏的互動(dòng)數(shù)字標(biāo)牌。

非互動(dòng)數(shù)字標(biāo)牌主要采用定時(shí)切換公告廣告的方式，用戶(hù)在某一時(shí)刻停留在所述數(shù)字標(biāo)牌前，只能被動(dòng)接受此時(shí)標(biāo)牌上顯示的信息，而無(wú)法看到其他的信息，用戶(hù)如果不感興趣，就可能立刻走開(kāi)；即使用戶(hù)正好看到自己感興趣的信息，也無(wú)法重復(fù)仔細(xì)觀看。這種方式用戶(hù)的方便性較差，展示效果不好。

利用觸摸屏的互動(dòng)數(shù)字標(biāo)牌，可以應(yīng)用戶(hù)的請(qǐng)求而選擇特定的信息，在短時(shí)間內(nèi)就可以讓用戶(hù)找到感興趣的信息，也可以讓用戶(hù)重復(fù)仔細(xì)觀看，用戶(hù)方便性高，展示效果好。但是采用觸摸屏?xí)?dǎo)致成本較高，特別是公告廣告往往需要較大的屏幕，而觸摸屏的價(jià)格是隨著展示屏幕的尺寸呈指數(shù)性增長(zhǎng)的。

為了解決這一問(wèn)題，本發(fā)明提供了一種利用手勢(shì)識(shí)別控制數(shù)字標(biāo)牌進(jìn)行鼠標(biāo)點(diǎn)擊操作的方法和系統(tǒng)。

發(fā)明內(nèi)容

本發(fā)明利用手勢(shì)識(shí)別控制數(shù)字標(biāo)牌的方法，包括以下步驟：

步驟1：將需要點(diǎn)擊的信息顯示在顯示區(qū)域上方位置；

步驟2：持續(xù)采集用戶(hù)圖像，從每一幀用戶(hù)圖像中提取出膚色二值圖像，對(duì)其中的各個(gè)膚色區(qū)域按照所占用戶(hù)圖像的比例的大小進(jìn)行篩選，得到人手二值圖像；

其中，從所述用戶(hù)圖像中提取膚色二值圖像，是將所述用戶(hù)圖像轉(zhuǎn)換為HSV圖像，對(duì)所述HSV圖像分別按照預(yù)先設(shè)定好的H、S、V分量的閾值范圍進(jìn)行調(diào)節(jié)，得到三個(gè)分量二值圖像，對(duì)三個(gè)分量圖像進(jìn)行相交運(yùn)算，最終得到膚色二值圖像；所述H分量閾值范圍為[0，0.156]∪[0.609，1.000]，所述S分量閾值范圍為[0.156~0.664]，所述V分量閾值范圍為[0.117,0.742]。

由于需要點(diǎn)擊的信息位于顯示屏上方位置，用戶(hù)在點(diǎn)擊過(guò)程中人手區(qū)域與人臉等區(qū)域沒(méi)有重疊，所以所述膚色二值圖像中包含獨(dú)立完整的人手膚色區(qū)域和其他膚色區(qū)域，對(duì)每個(gè)膚色區(qū)域按照所占用戶(hù)圖像的比例的大小進(jìn)行篩選，即計(jì)算每個(gè)膚色區(qū)域與所述用戶(hù)圖像的面積比，保留面積比在閾值范圍C內(nèi)的膚色區(qū)域，將其余的膚色區(qū)域賦值為“0”，以去除其他膚色區(qū)域，得到人手二值圖像。其中，閾值C是預(yù)先設(shè)定并且可以調(diào)節(jié)的，本實(shí)施例中，閾值范圍C為[0.030,0.150]。

優(yōu)選的，采集到所述用戶(hù)圖像后，在進(jìn)行步驟2以前，先對(duì)所述用戶(hù)圖像進(jìn)行簡(jiǎn)單平滑處理，利用均值漂移分割方法將其分割為邊界較明顯的幾個(gè)區(qū)域，這樣能達(dá)到減小圖像，降低運(yùn)算復(fù)雜度，提高時(shí)效性的目的。

步驟3：對(duì)所述人手二值圖像進(jìn)行擴(kuò)張腐蝕得到相對(duì)平滑圖像，從所述相對(duì)平滑圖像中檢測(cè)出人手輪廓鏈表，從人手輪廓鏈表中提取出外接區(qū)域，得到外接矩形圖像；

步驟4：選取所述外接矩形圖像的任意固定一點(diǎn)的像素點(diǎn)作為手掌點(diǎn)，將手掌點(diǎn)在所述用戶(hù)圖像上的位置映射為鼠標(biāo)所在位置并顯示出鼠標(biāo)。具體為，將所述用戶(hù)圖像上的像素點(diǎn)與顯示屏上的像素點(diǎn)按比例進(jìn)行映射，將手掌點(diǎn)映射到的像素點(diǎn)的位置作為鼠標(biāo)的位置，并將鼠標(biāo)顯示出來(lái)。

優(yōu)選的，可選取外接矩形的左上角長(zhǎng)寬各1/5處的像素點(diǎn)作為手掌點(diǎn)。

步驟5：當(dāng)所述鼠標(biāo)移動(dòng)到上方可點(diǎn)擊的信息處，并停留在此信息上預(yù)定時(shí)間后，觸發(fā)點(diǎn)擊操作。

對(duì)應(yīng)的，本發(fā)明利用手勢(shì)識(shí)別控制數(shù)字標(biāo)牌的系統(tǒng)，包括以下部分：

攝像頭和顯示屏，攝像頭用于采集用戶(hù)圖像；

圖像處理單元，用于接收所述用戶(hù)圖像，并按照以上方法對(duì)其進(jìn)行處理，得到外接矩形圖像；

鼠標(biāo)映射單元，用于接收所述外接矩形圖像，選取所述外接矩形的任意固定一點(diǎn)的像素點(diǎn)作為手掌點(diǎn)，將手掌點(diǎn)在所述用戶(hù)圖像上的位置映射為鼠標(biāo)所在位置，并在顯示屏上將鼠標(biāo)顯示出來(lái)；

點(diǎn)擊控制單元，用于接收所述鼠標(biāo)的位置信息，當(dāng)所述鼠標(biāo)移動(dòng)到上方可點(diǎn)擊的信息處，并停留在此信息上預(yù)定時(shí)間后，發(fā)送點(diǎn)擊命令給顯示信息控制單元；

顯示信息控制單元，將需要點(diǎn)擊的信息顯示在顯示屏的上方位置，接收所述點(diǎn)擊命令并完成相應(yīng)的點(diǎn)擊操作。

附圖說(shuō)明

圖1為本發(fā)明利用視覺(jué)手勢(shì)識(shí)別控制數(shù)字標(biāo)牌的方法流程圖

圖2為本發(fā)明利用視覺(jué)手勢(shì)識(shí)別控制數(shù)字標(biāo)牌的系統(tǒng)示意圖

圖3為本發(fā)明利用視覺(jué)手勢(shì)識(shí)別控制數(shù)字標(biāo)牌的工作方式示意圖

具體實(shí)施方式