[發(fā)明專利]用于人類自然命令控制的多模態(tài)行為感知

在審

• 申請?zhí)枺?/td>: 201380028066.5
• 申請日: 2013-05-31
• 公開（公告）號: CN104321718A
• 公開（公告）日: 2015-01-28
• 發(fā)明（設(shè)計(jì)）人: N.盧;A.K.鮑夫米克
• 申請（專利權(quán)）人: 英特爾公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張凌苗;姜甜

技術(shù)領(lǐng)域

本公開涉及通過使用自然命令來控制計(jì)算機(jī)系統(tǒng)，并且具體地涉及檢測多個(gè)模式的人類行為以作為命令。

背景技術(shù)

語音和姿勢命令已經(jīng)在各種各樣的領(lǐng)域中被開發(fā)用于人機(jī)交互。已經(jīng)開發(fā)了識別語音命令的軟件應(yīng)用。語音命令可以由計(jì)算機(jī)或者更最近地在遠(yuǎn)程服務(wù)器處被解釋，所述遠(yuǎn)程服務(wù)器然后將命令提供回到本地設(shè)備。還已經(jīng)開發(fā)了識別姿勢命令的各種系統(tǒng)。這些最近對于游戲已經(jīng)變得商業(yè)上流行起來，但是還已經(jīng)被開發(fā)用于呈現(xiàn)軟件和其它目的。

在將語音或姿勢用作人機(jī)接口時(shí)，總是存在這樣的風(fēng)險(xiǎn)：用戶可能正在與另一個(gè)人或甚至另一個(gè)機(jī)器交談，但是機(jī)器將人類行為解釋為命令。對于可靠的操作，計(jì)算機(jī)應(yīng)當(dāng)知道何時(shí)命令真的旨在作為用于計(jì)算機(jī)執(zhí)行的指令或僅僅是正常人類活動(dòng)的部分。口頭命令可以例如碰巧是某人正在視頻會(huì)議呼叫中講述的故事的一部分。為了避免用戶命令或姿勢的誤解，一些系統(tǒng)使用一種機(jī)制，用戶利用所述機(jī)制可以尋址機(jī)器。為了向機(jī)器指示用戶意圖語音命令、姿勢或其它類型的輸入，一些地址或鍵盤命令首先被提供。

為了完全避免誤解命令，機(jī)器操作者可以使用鍵盤和鼠標(biāo)設(shè)備。這些允許命令被精確地做出并且精確地指向特定機(jī)器。然而，它們對于人機(jī)交互而言不是自然的并且是非直觀的。在使用姿勢或語音命令的一些系統(tǒng)中，用戶約束他們的行為以適應(yīng)于機(jī)器。例如，用戶可以在任何命令之前插入代詞或恰當(dāng)?shù)拿Q作為主體，諸如在每個(gè)命令之前呼叫“計(jì)算機(jī)”。這允許計(jì)算機(jī)聽取其聲音的地址或名稱并且避免執(zhí)行在正常對話或呈現(xiàn)中所包含的命令。另一途徑是要求用戶在延長的時(shí)間內(nèi)保持姿勢。這是非正常的姿勢，因此計(jì)算機(jī)將不把它與其它正常姿勢混淆。這些途徑需要用戶做一些特別的事以從正常人類行動(dòng)中區(qū)分計(jì)算機(jī)命令。結(jié)果，在平常的行動(dòng)或言語之外，使得計(jì)算機(jī)交互感覺不自然并且不直觀。

附圖說明

作為示例并且不是作為限制地在附圖的各圖中圖示了本發(fā)明的實(shí)施例，其中同樣的參考標(biāo)號指代類似的元件。

圖1是根據(jù)本發(fā)明的第一實(shí)施例的本發(fā)明的硬件實(shí)現(xiàn)的框圖。

圖2是根據(jù)本發(fā)明的第二實(shí)施例的本發(fā)明的硬件實(shí)現(xiàn)的框圖。

圖3是根據(jù)本發(fā)明的實(shí)施例的用于通過使用第二命令來確認(rèn)第一命令的過程流程圖。

圖4是根據(jù)本發(fā)明的實(shí)施例的適合于實(shí)現(xiàn)本公開的過程的計(jì)算機(jī)系統(tǒng)的框圖。

具體實(shí)施方式

在下述一些示例中，計(jì)算機(jī)將多個(gè)模態(tài)組合在一起以便計(jì)算機(jī)具有更好和更準(zhǔn)確的基礎(chǔ)來確定何時(shí)用戶想要陳述或姿勢成為用于計(jì)算機(jī)的命令。這可以使得系統(tǒng)適配于用戶，而不是讓用戶適配于系統(tǒng)。結(jié)果，整個(gè)人機(jī)接口體驗(yàn)對于用戶而言更自然并且直觀。在一個(gè)示例中，這可以通過使用用戶意圖感知組件來進(jìn)行，所述用戶意圖感知組件過濾掉可能對計(jì)算機(jī)而言看起來像命令信號但不是的非故意信號。

本發(fā)明的實(shí)施例可以應(yīng)用于使用相機(jī)作為主輸入設(shè)備的任何無鍵盤PC（個(gè)人計(jì)算機(jī)）設(shè)計(jì)或無鍵盤用戶接口設(shè)計(jì)，并且其中導(dǎo)航或應(yīng)用命令由多個(gè)模態(tài)控制。它還可以應(yīng)用于從用戶感知的視角來看涉及多層通電策略的任何PC設(shè)計(jì)。雖然在PC的上下文中描述了實(shí)施例，但是所描述的實(shí)施例可以應(yīng)用于接收用戶命令的任何設(shè)備，包括計(jì)算機(jī)、演示系統(tǒng)或娛樂系統(tǒng)。

命令結(jié)構(gòu)典型地具有若干層操作。如圖1中所示，命令結(jié)構(gòu)系統(tǒng)100具有某種類型的傳感器110，典型地為鍵盤、鼠標(biāo)、觸摸板或觸摸屏。另外，還可以使用相機(jī)和麥克風(fēng)。通過監(jiān)控器112、針對命令來監(jiān)控傳感器。在一些情況下，傳感器生成被轉(zhuǎn)發(fā)給中斷檢測器116的中斷113。監(jiān)控器112經(jīng)由傳感器110來連續(xù)并恒定地或者以間隔而監(jiān)控環(huán)境。它基于傳感器的類型而生成不同類型的警告或中斷信號。對于鍵盤，存在針對不同鍵的不同信號。對于觸摸板，可以存在針對不同水平的按壓和速度的不同水平。在其它情況下，傳感器可以是電容或電阻測量電路、水位計(jì)量儀、溫度計(jì)、濕度計(jì)、質(zhì)譜儀等等。

在報(bào)告層級，如果所監(jiān)控的傳感器生成事件，這樣的對輪詢信號的響應(yīng)或中斷，那么這被檢測116并且被指示給報(bào)告系統(tǒng)114。報(bào)告層級處理所監(jiān)控的信號并且生成對應(yīng)的命令。在PC的情況下，敲擊特定鍵被解釋為字母或命令符號。轉(zhuǎn)化器118接收報(bào)告并且將那些指令轉(zhuǎn)化成可行動(dòng)的控制信號。命令控制裝置120然后根據(jù)命令的性質(zhì)和特定系統(tǒng)的配置來履行或執(zhí)行所期望的行動(dòng)。