[發明專利]集成話音命令模態的用戶界面

無效

• 申請號: 201110358437.9
• 申請日: 2011-10-31
• 公開（公告）號: CN102541438A
• 公開（公告）日: 2012-07-04
• 發明（設計）人: V·拉爾科;A·T·沈;M·H-Y·基姆
• 申請（專利權）人: 微軟公司
• 主分類號: G06F3/048
• 分類號: G06F3/048;G10L15/22
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 蔡悅

技術領域

本發明涉及用戶界面，尤其涉及自然用戶界面系統和方法。?

背景技術

在過去，諸如計算機游戲和多媒體應用等計算應用使用控制器、遙控器、鍵盤、鼠標等來允許用戶操縱游戲人物或應用的其他方面。近來，計算機游戲和多媒體應用已開始使用相機和軟件姿勢識別引擎來提供自然用戶界面(“NUI”)。使用NUI，用戶姿勢和語音(speech)檢測、解釋并將被用于控制游戲人物或應用的其他方面。?

NUI系統允許用戶經由口頭命令來與系統進行交互。當前，向用戶顯示提供可用命令列表的菜單或新頁面。然而，這樣的菜單遮擋了用戶正試圖操作的原始內容。如果命令列表是長的，則它可能遮擋整個屏幕或將用戶定向到不同頁面，從而造成將命令從其上下文中取消關聯。這有損于對NUI系統的用戶體驗。?

發明內容

概略而言，本技術涉及多模自然用戶界面系統。在第一模態中，與自然用戶界面相關聯的屏幕顯示圖形圖標，用戶可使用姿勢和話音(voice)命令用圖形圖標進行交互。在第二個語音揭示模態中，屏幕突出顯示具有相關聯的話音命令的所有圖形對象。突出顯示的圖形對象可以是文本，使得當用戶說出突出顯示的文本時，與口頭命令相關聯的動作被執行。突出顯示的圖形對象可另選地是除文本以外的對象。用戶可以用口頭命令、對屏幕上圖標的選擇、或通過執行NUI系統可識別的某一物理姿勢來進入或退出語音揭示模態。?

在一個示例中，本發明涉及一種配置包括與顯示器上所提供的一個或多個可視元素相關聯的語音命令的自然用戶界面的方法。該方法包括以下步驟：(a)顯示具有相關聯的語音命令的至少一個可視元素，所述語音命令結合該?至少一個可視元素來執行自然用戶界面中的某命令；以及(b)顯示與該至少可視元素中的一個可視元素相關聯的可視指示符，該可視指示符指示該可視元素具有相關聯的語音命令，并且該可視指示符將該可視元素與不具有相關聯的語音命令的可視元素區分開。?

在又一示例中，本發明涉及一種計算機可讀存儲介質，該計算機可讀存儲介質用于對處理器進行編程以執行一種提供包括與顯示器上所提供的一個或多個可視元素相關聯的語音命令的多模自然用戶界面的方法。該方法包括以下步驟：(a)在操作的正常模式期間，顯示具有相關聯的語音命令的至少一個可視元素，該語音命令結合該至少一個可視元素來在自然用戶界面中執行某動作；(b)接收從操作的正常模式切換到語音揭示模式的指示；以及(c)在步驟(b)中接收到該指之后，顯示與該至少可視元素中的一個可視元素相關聯的可視指示符，該可視指示符指示該可視元素具有相關聯的語音命令。?

在又一示例中，本發明涉及一種具有圖形用戶界面和可用于與該圖形用戶界面進行交互的自然用戶界面的計算機系統，以及一種提供該圖形用戶界面和該自然用戶界面的方法，包括(a)在該圖形用戶界面上顯示至少一個可視元素，該至少一個可視元素具有相關聯的語音命令，該語音命令結合該至少一個可視元素來執行該自然用戶界面中的某動作；(b)經由該自然用戶界面接收進入語音揭示模式的指示；以及(c)在步驟(b)中接收到該指示之后，用突出顯示來顯示該可視元素，該突出顯示指示該可視元素具有相關聯的語音命令。?

提供發明內容以便以簡化形式介紹將在以下的具體實施方式中進一步描述的一些概念。本發明內容并非旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本發明的任一部分中提及的任何或所有缺點的實現。?

附圖說明

圖1示出了目標識別、分析和跟蹤系統的示例實施例。?

圖2示出了目標識別、分析和跟蹤系統的進一步示例實施例。?

圖3示出了可以在目標識別、分析和跟蹤系統中使用的捕捉設備的示例實?施例。?

圖4是呈現用于揭示哪些命令可用作語音命令的常規系統的屏幕顯示的圖示。?

圖5A和5B是本系統的一實施例的操作流程圖。?

圖6是根據本系統的一實施例的屏幕顯示的圖示，其中具有相關聯的語音命令的可視元素被突出顯示。?

圖7是根據本系統的一實施例的屏幕顯示的圖示，其中具有相關聯的語音命令的文本和其他對象被突出顯示。?

圖8是根據本系統的一實施例的屏幕顯示的圖示，其中文本對象被添加到圖形對象，且具有相關聯的語音命令文本對象被突出顯示。?

圖9是根據本系統的一實施例的屏幕顯示的圖示，其中顯示了具有相關聯的語音命令的可視元素但沒有突出顯示。?