[發明專利]由電子設備的用戶操縱動態推斷軟件操作的語音命令

在審

• 申請號: 201680016072.2
• 申請日: 2016-01-20
• 公開（公告）號: CN107408010A
• 公開（公告）日: 2017-11-28
• 發明（設計）人: 阿米特·庫馬爾·阿格拉沃爾;雷蒙德·B·埃西克;薩恰巴拉塔·勞特
• 申請（專利權）人: 谷歌技術控股有限責任公司
• 主分類號: G06F3/0484
• 分類號: G06F3/0484;G10L15/06;G10L25/48
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 李佳,穆德駿

1.在電子設備(100)中，一種方法包括：

監視用戶對所述電子設備的可視元素(122,128,132,134,144,146,147,262,263,510,518,520,526,532,802)的觸覺操縱(124,136,140,148,150,503,512,522,528,534,804,810,820)，以確定第一可視元素操縱序列(352,1084,1924)，所述第一可視元素操縱序列啟動所述電子設備的至少一個軟件應用(214,216)的第一操作的第一實例；

確定與所述可視元素相關聯的屬性集(362)；

基于所述第一可視元素操縱序列和所述屬性集，確定用于所述第一操作的命令語法；

基于所述命令語法，生成第一語音命令集(366,1802)；以及

存儲所述第一語音命令集。

2.如權利要求1所述的方法，進一步包括：

接收來自用戶的語音輸入(162)；

確定所述語音輸入表示所述第一語音命令集中的語音命令；以及

基于所述語音命令，執行所述第一可視元素操縱序列的模擬(370)，以啟動所述至少一個軟件應用的所述第一操作的第二實例。

3.如權利要求1所述的方法，其中，確定所述屬性集包括：

根據視圖層次確定所述屬性集，所述視圖層次具有一個或多個視圖屏幕(260)內可視元素的文本表示(360)。

4.如權利要求1所述的方法，其中，生成所述語音命令集包括：

基于與所述可視元素相關聯的術語，確定命令術語；

基于在用戶的觸覺操縱期間操縱所述可視元素的順序，使用所述命令術語來構造所述命令語法；以及

基于所述命令語法，確定所述語音命令集的至少一個語音命令。

5.如權利要求4所述的方法，其中，基于與所述可視元素相關聯的術語確定所述命令術語包括：

根據下述中的至少一個確定與所述可視元素相關聯的術語：具有一個或多個視圖屏幕內的可視元素的文本表示(360)的視圖層次(236)、自然語言處理(222)、以及替代術語數據庫(238)。

6.如權利要求1所述的方法，其中：

所述第一操作包括從一個軟件應用轉變到另一軟件應用。

7.如權利要求1所述的方法，其中：

所述第一操作包括從第一軟件應用轉變到多個替代第二軟件應用中的所選一個替代第二軟件應用；

監視用戶對所述可視元素的觸覺操縱以確定所述第一可視元素操縱序列包括：識別橋接元素，所述橋接元素表示從所述第一軟件應用的轉變；以及

所述方法進一步包括：基于所述橋接元素的至少一個屬性，識別所述多個替代第二軟件應用。

8.如權利要求7所述的方法，進一步包括：

根據視圖層次(236)確定所述橋接元素的所述至少一個屬性，所述視圖層次具有一個或多個視圖屏幕內的可視元素的文本表示(360)。

9.如權利要求7所述的方法，進一步包括：

接收來自用戶的語音輸入(162)；

確定所述語音輸入表示所述第一語音命令集中的語音命令并且引用所述多個替代第二軟件應用中的所述所選一個替代第二軟件應用；以及

執行對所述第一可視元素操縱序列的模擬(370)，以啟動所述第一操作的第二實例，所述第一操作的第二實例從所述第一軟件應用轉變到所述多個替代第二軟件應用中的所述所選一個替代第二軟件應用。

10.如權利要求1所述的方法，進一步包括：

將所述第一語音命令集(1922)和所述第一可視元素操縱序列(1924)的表示提供給遠程聯網系統(1902)，以分發到一個或多個其他電子設備(1906)。

11.如權利要求1所述的方法，其中，

所述方法進一步包括：

從遠程聯網系統(1908)接收第二語音命令集(1912)和第二可視元素操縱序列(1914)的表示；

接收來自用戶的語音輸入(162)；

確定所述語音輸入表示所述第二語音命令集中的語音命令；以及

執行對所述第二可視元素操縱序列的模擬(370)，以在所述電子設備處啟動軟件應用的第二操作的實例。