[發明專利]語音控制用戶界面的方法及裝置

有效

• 申請號: 201210527881.3
• 申請日: 2012-12-10
• 公開（公告）號: CN103869931A
• 公開（公告）日: 2014-06-18
• 發明（設計）人: 王成軍
• 申請（專利權）人: 三星電子（中國）研發中心;三星電子株式會社
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0482
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

技術領域

本發明涉及用戶界面技術領域，具體涉及語音控制用戶界面的方法及裝置。

背景技術

當前的很多軟件采取圖形用戶界面（GUI，Graphical?User?Interface）的形式，允許用戶通過鼠標、鍵盤、觸摸屏等與GUI交互。隨著計算機技術的飛速發展，各種便攜式可視裝備不斷涌現，如智能眼鏡、智能手表等等。其中，很多裝備是不方便用手操作的，語音控制是一種很好的替代方案。

傳統的軟件用戶界面僅考慮可視表現而開發，對于有助于語音交互的界面開發細節關注不夠。目前存在各種技術以提供更好的語音人機交互，其中很多注重于創建可結合的更易于語音輸入交互的新交互風格，如CommandTalk、ATIS、ELVIS、SUITEKeys等等。SUITEKeys直接模擬用手移動鼠標并且按各個鍵的交互。這些系統側重于提供用于口頭人機交互的改進型模型，從而在根本上改變交互風格。

近年來，已有一些影響較大的實用的語音識別控制系統推出，如GoogleVoice、Apple?Siri等等。Google?Voice對語音輸入的語法結構和格式要求較高，Apple?Siri則更注重結合上下文的語義智能分析。

當前的語音識別控制系統通過語音識別進行語義的智能分析和系統功能的調用。在語音輸入的結構上，現有的語音控制系統可以分為兩種：

一、要求語音輸入具備嚴格的語法結構和格式，否則系統將無法識別。這種方式的控制系統又可分為兩類：

第一類需要預先注冊可以處理的一系列語音命令，并指定一個或多個語音命令的執行可能使用的用戶界面執行的一個或多個語義操作信號。這一類集中在對設備常用功能的控制，普適性不佳，不易擴展。

第二類采用預定義的規則，解析UI框架（framework）元素，使UIframework支持語音，以便用戶可使用語音命令與一些用戶界面元素交互。這種方法普適性很好，目前基于這種方法的已有系統的主要問題是不夠智能，用戶體驗不佳。

二、對輸入沒有嚴格要求，針對用戶的語音輸入會結合上下文進行語義的智能分析，根據分析的結果進行合適的處理。這類系統更加智能，人機互動方面，表現比較出色；最大的缺點是在實際的系統表現中，語義的分析目前遠不夠準確，經常會出現答非所問的情況。

發明內容

本發明提供語音控制用戶界面的方法及裝置，以提高語音控制用戶界面的效率。

本發明的技術方案是這樣實現的：

一種語音控制用戶界面的方法，該方法包括：

當一用戶界面即將載入運行時，遍歷該用戶界面上的元素，分別從每個元素中抽取該元素的標簽，將抽取的所有界面元素標簽保存到運行時標簽庫；

當接收到用戶輸入的語音時，將該語音與運行時標簽庫中的各界面元素標簽一一匹配，若匹配上，則對匹配的元素標簽進行語義分析，根據語義分析結果對界面元素進行預定義的操作。

所述分別從每個元素中抽取該元素的標簽為：

當界面元素為下拉列表時，抽取該下拉列表的各列表項文本作為該下拉列表的標簽；

當界面元素為文本框時，抽取該文本框的預設的只讀顏色的文本作為該文本框的標簽；

當界面元素為文本區域時，抽取該文本區域的預設的只讀顏色的文本作為該文本區域的標簽；

當界面元素為列表框時，抽取該列表框中各個欄目item對應的單item文本或多個子item文本作為該列表框的標簽；

當界面元素為網格視圖時，抽取該網格視圖中各個item對應的單item文本或多個子item文本作為該網格視圖的標簽；

當界面元素為復選框時，抽取該復選框中各個item對應的單item文本或多個子item文本作為該復選框的標簽；

當界面元素為單選按鈕時，抽取該單選按鈕中各個item對應的單item文本或多個子item文本作為該單選框的標簽；

當界面元素為按鈕時，抽取該按鈕上的文字作為該按鈕的標簽；

當界面元素為拖動條時，抽取該拖動條的描述性標記label作為該拖動條的標簽；

當界面元素為日期和時間控件時，抽取該控件的描述性label作為該控件的標簽；

當界面元素為圖片切換控件或滾動視圖控件時，當該控件未聚焦時，若該控件自帶描述性label，則抽取該描述性label作為該控件的標簽，若該控件不帶描述性label，則將為該控件預設的標簽作為該控件的標簽；當該控件聚焦時，抽取控件的用戶界面動作作為該控件的標簽；