[發明專利]語音控制用戶界面的方法及裝置

有效

• 申請號: 201210527881.3
• 申請日: 2012-12-10
• 公開（公告）號: CN103869931A
• 公開（公告）日: 2014-06-18
• 發明（設計）人: 王成軍
• 申請（專利權）人: 三星電子（中國）研發中心;三星電子株式會社
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0482
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

1.一種語音控制用戶界面的方法，其特征在于，該方法包括：

當一用戶界面即將載入運行時，遍歷該用戶界面上的元素，分別從每個元素中抽取該元素的標簽，將抽取的所有界面元素標簽保存到運行時標簽庫；

當接收到用戶輸入的語音時，將該語音與運行時標簽庫中的各界面元素標簽一一匹配，若匹配上，則對匹配的元素標簽進行語義分析，根據語義分析結果對界面元素進行預定義的操作。

2.根據權利要求1所述的方法，其特征在于，所述分別從每個元素中抽取該元素的標簽為：

當界面元素為下拉列表時，抽取該下拉列表的各列表項文本作為該下拉列表的標簽；

當界面元素為文本框時，抽取該文本框的預設的只讀顏色的文本作為該文本框的標簽；

當界面元素為文本區域時，抽取該文本區域的預設的只讀顏色的文本作為該文本區域的標簽；

當界面元素為列表框時，抽取該列表框中各個欄目item對應的單item文本或多個子item文本作為該列表框的標簽；

當界面元素為網格視圖時，抽取該網格視圖中各個item對應的單item文本或多個子item文本作為該網格視圖的標簽；

當界面元素為復選框時，抽取該復選框中各個item對應的單item文本或多個子item文本作為該復選框的標簽；

當界面元素為單選按鈕時，抽取該單選按鈕中各個item對應的單item文本或多個子item文本作為該單選框的標簽；

當界面元素為按鈕時，抽取該按鈕上的文字作為該按鈕的標簽；

當界面元素為拖動條時，抽取該拖動條的描述性標記label作為該拖動條的標簽；

當界面元素為日期和時間控件時，抽取該控件的描述性label作為該控件的標簽；

當界面元素為圖片切換控件或滾動視圖控件時，當該控件未聚焦時，若該控件自帶描述性label，則抽取該描述性label作為該控件的標簽，若該控件不帶描述性label，則將為該控件預設的標簽作為該控件的標簽；當該控件聚焦時，抽取控件的用戶界面動作作為該控件的標簽；

當界面元素為組編輯區域時，對于每個窗口小部件widget的每個可編輯區域，若該可編輯區域自帶描述性label，則抽取該描述性label作為該可編輯區域的標簽，否則，抽取該可編輯區域所屬的widget的描述性label作為該可編輯區域的標簽。

3.根據權利要求1所述的方法，其特征在于，所述遍歷該用戶界面上的元素為：

對于每個即將載入運行的用戶界面，分別遍歷各用戶界面上的元素；

或者，只遍歷最前端的活動界面上的元素。

4.根據權利要求1所述的方法，其特征在于，所述匹配上為：完全匹配上；

且，所述將該語音與運行時標簽庫中的各界面元素標簽一一匹配之后進一步包括：若語音的一部分與一界面元素標簽匹配上，則對匹配的元素標簽進行語義分析，根據語義分析結果對界面元素進行預定義的操作，然后將語音的另一部分作為該界面元素的內容輸入。

5.根據權利要求1所述的方法，其特征在于，所述將該語音與運行時標簽庫中的各界面元素標簽一一匹配之后進一步包括：若未匹配上，則判斷當前可視用戶界面上是否有可輸入的聚焦元素，若是，則將語音作為該元素的內容輸入；否則，丟棄該語音。

6.根據權利要求1所述的方法，其特征在于，所述將該語音與運行時標簽庫中的各界面元素標簽一一匹配為：

將該語音與運行時標簽庫中屬于當前可視范圍內的各界面元素的標簽一一匹配。

7.根據權利要求1所述的方法，其特征在于，所述匹配上之后、對匹配的元素標簽進行語義分析之前進一步包括：

判斷匹配的標簽是否可見，若是，執行所述對匹配的元素標簽進行語義分析的動作；否則，不作進一步處理。