[發(fā)明專利]一種人機(jī)交互設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201110117664.2
• 申請(qǐng)日: 2011-05-06
• 公開(kāi)（公告）號(hào): CN102184011A
• 公開(kāi)（公告）日: 2011-09-14
• 發(fā)明（設(shè)計(jì)）人: 張博寧;錢(qián)躍良;王向東
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/033
• 代理公司: 北京律誠(chéng)同業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國(guó);梁揮

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，特別是涉及一種佩戴在手指上的人機(jī)交互設(shè)備。

背景技術(shù)

現(xiàn)代的新型人機(jī)交互有很多種形式，包括多點(diǎn)的觸摸屏，基于傳感器的體感設(shè)備，基于圖像識(shí)別的交互，基于肌肉計(jì)算的交互等。以上的各種交互方式能夠彌補(bǔ)很多以前存在的不足，但是這些交互方式也存在一些新問(wèn)題和缺點(diǎn)。

多點(diǎn)觸摸的交互方式，這種交互方式現(xiàn)在已經(jīng)非常普遍的應(yīng)用在各種設(shè)備中了，該設(shè)備的原理是當(dāng)人的手指接觸觸摸屏元件時(shí)，該點(diǎn)的電容或者電阻會(huì)發(fā)生相應(yīng)的變化，通過(guò)采集不同點(diǎn)的數(shù)值就可以判斷出觸摸的位置。但是這種設(shè)備的局限在于：操作者必須在設(shè)備前使用并與觸摸屏接觸，當(dāng)遠(yuǎn)離設(shè)備時(shí)是無(wú)法操作該設(shè)備的。

體感型人機(jī)交互方式，其包括：通過(guò)遙控器內(nèi)的加速度傳感器感知使用者手部的運(yùn)動(dòng)來(lái)進(jìn)行交互，或是通過(guò)一種特殊的攝像頭，這種攝像頭可以采集景深信息，然后通過(guò)對(duì)圖像的處理重構(gòu)出使用者的骨架來(lái)進(jìn)行交互。體感交互方式的缺點(diǎn)在于使用者必須在設(shè)備前大幅度的動(dòng)作才能夠被準(zhǔn)確的判斷為交互動(dòng)作，微小的動(dòng)作是不被接受的。

一種肌肉計(jì)算的交互設(shè)備，設(shè)備通過(guò)采集人體肌肉的肌電信號(hào)來(lái)判斷人體手部的動(dòng)作，從而進(jìn)行交互。這種設(shè)備目前還不成熟，設(shè)備笨重且不易攜帶。

采集人手部動(dòng)作的數(shù)據(jù)手套，該手套的原理是每一個(gè)手指都附著一個(gè)彎曲傳感器，通過(guò)對(duì)彎曲傳感器的變化的采集來(lái)重現(xiàn)人體的手部的動(dòng)作最終完成交互。這種設(shè)備造價(jià)極為昂貴，且佩帶起來(lái)相對(duì)麻煩，尤其是在炎熱的夏季這種設(shè)備不適合普通用戶使用。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種新型人機(jī)交互設(shè)備，該設(shè)備支持一種全新人機(jī)交互方式：可接任何固體表面作為觸摸平面，通過(guò)觸摸該表面完成各種手勢(shì)動(dòng)作，并以該動(dòng)作控制計(jì)算機(jī)或智能設(shè)備實(shí)現(xiàn)相關(guān)操作。

為實(shí)現(xiàn)本發(fā)明的目的而提供的一種人機(jī)交互設(shè)備，包括：

運(yùn)動(dòng)位置傳感器，用于采集運(yùn)動(dòng)軌跡與姿態(tài)；

麥克風(fēng)，用于采集設(shè)備與其他表面的摩擦音頻；

處理模塊，用于根據(jù)采集的運(yùn)動(dòng)軌跡和設(shè)備與其他表面的摩擦音頻，得到“拖拽”的人機(jī)交互命令；以及通過(guò)采集到的運(yùn)動(dòng)位置傳感器數(shù)據(jù)和計(jì)算出麥克風(fēng)采集到音頻的瞬時(shí)功率對(duì)于敲擊動(dòng)作做出判斷，得到“敲擊”命令的人機(jī)交互命令；實(shí)現(xiàn)對(duì)相應(yīng)的設(shè)備或計(jì)算機(jī)進(jìn)行交互。

所述人機(jī)交互設(shè)備通過(guò)無(wú)線的方式和其他設(shè)備進(jìn)行連接實(shí)現(xiàn)人機(jī)交互。

所述處理模塊，包括：

拖拽命令模塊，用于根據(jù)采集的運(yùn)動(dòng)軌跡，判斷在起點(diǎn)和終點(diǎn)之間的設(shè)備在運(yùn)動(dòng)過(guò)程中人的手勢(shì)，根據(jù)設(shè)備與其他表面的摩擦音頻，來(lái)確定摩擦發(fā)生的起點(diǎn)和終點(diǎn)時(shí)間，得到一個(gè)拖拽動(dòng)作；

點(diǎn)擊命令模塊，用于通過(guò)計(jì)算麥克風(fēng)采集的音頻瞬時(shí)功率和所述運(yùn)動(dòng)位置傳感器的一個(gè)軸向線加速度，得到相應(yīng)的數(shù)值，利用算法對(duì)該數(shù)值進(jìn)行處理判斷是否是一個(gè)點(diǎn)擊動(dòng)作。

所述拖拽命令模塊，包括：

音頻處理子模塊，用于當(dāng)設(shè)備與其他表面發(fā)生滑動(dòng)摩擦?xí)r，聲波傳導(dǎo)到設(shè)備的麥克風(fēng)中，通過(guò)算法來(lái)判斷是否是一個(gè)摩擦聲，從而得到摩擦的起始點(diǎn)；

位移處理子模塊，用于通過(guò)對(duì)運(yùn)動(dòng)位置傳感器進(jìn)行建模處理，計(jì)算所述設(shè)備的位移軌跡。

所述音頻處理子模塊，通過(guò)計(jì)算聲音片段的MFCC參數(shù)、過(guò)零率和功率指標(biāo)，經(jīng)過(guò)訓(xùn)練利用SVM分類器得到該段音頻是否是摩擦來(lái)確定的起始點(diǎn)。

所述人機(jī)交互設(shè)備，設(shè)計(jì)成一個(gè)戒指佩戴在手指上，在戒指的上方部署用于采集手指運(yùn)動(dòng)與姿態(tài)的傳感器，在戒指的下方安裝一個(gè)音孔朝向手指皮膚的麥克風(fēng)，戒指是電池供電，通過(guò)無(wú)線的方式和其他設(shè)備進(jìn)行連接。

所述傳感器是加速度傳感器、陀螺儀中的一個(gè)或多個(gè)。

所述音頻處理子模塊，用于當(dāng)手指與其他表面發(fā)生滑動(dòng)摩擦?xí)r，聲波會(huì)通過(guò)手指骨傳導(dǎo)到設(shè)備的麥克風(fēng)中，通過(guò)算法來(lái)判斷是否是一個(gè)摩擦聲，從而得到摩擦的起始點(diǎn)。

所述人機(jī)交互設(shè)備，設(shè)計(jì)成筆型，所述麥克風(fēng)和所述運(yùn)動(dòng)位置傳感器是安裝在筆尖處。

所述音頻處理子模塊，具體執(zhí)行下列操作：

通過(guò)麥克風(fēng)采集到音頻，將音頻變成數(shù)字化的信號(hào)也就是音頻文件；

通過(guò)截?cái)嗟姆椒ǎ岩纛l切成片段；

對(duì)獲得的片段進(jìn)行處理，加海明窗，計(jì)算MFCC，計(jì)算片段的功率，計(jì)算片段的過(guò)零率作為特征，該特征為一個(gè)多維的向量由MFCC和片段功率過(guò)零率拼接而成；

對(duì)獲得的片段進(jìn)行標(biāo)注，并訓(xùn)練SVM模型；

通過(guò)SVM對(duì)計(jì)算出來(lái)的特征進(jìn)行分類，把小片段分為摩擦和非摩擦。顯然的從非摩擦到摩擦就是一個(gè)摩擦的起點(diǎn)，而由摩擦到非摩擦就是終點(diǎn)。