[發明專利]為自動助理擴展物理運動手勢詞典

在審

• 申請號: 201980043211.4
• 申請日: 2019-03-27
• 公開（公告）號: CN112313606A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 魯克桑德拉·戴維斯;利薩·特克哈納
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06F3/03;G06F3/0484;G06F3/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李佳;周亞榮

本文提供的實施方式涉及將可用的輸入手勢與最近創建的應用功能關聯，和使可用的輸入手勢和/或用戶創建的輸入手勢適于與現有應用功能關聯?？捎玫妮斎胧謩?例如，揮手)可以是在設置計算設備時可以容易地執行的那些手勢。當用戶安裝最初并未被配置成處理可用的輸入手勢的應用時，可用的輸入手勢可以與該應用的某些功能關聯。此外，用戶可以根據他們自己的偏好和/或身體能力來創建用于應用動作的新手勢和/或修改現有手勢。當多個用戶選擇以相同方式修改現有手勢時，可以在得到用戶準許的情況下使修改通用，以便消除隨后適應其它用戶的偏好時的時延。

背景技術

人類可以參與和在本文中稱為“自動助理”(也稱為“數字代理”、“聊天機器人”、“交互式個人助理”、“智能個人助理”、“助理應用”、“談話代理”、等)的交互式軟件應用的人機對話。例如，人類(當人類與自動助理交互時可以被稱為“用戶”)可以使用口頭自然語言輸入(即，話語)和/或通過提供(例如，鍵入的)文本的自然語言輸入來提供命令和/或請求，在一些情況下該口頭自然語言輸入可以被轉換成文本然后被處理。附加地或可替代地，自動助理可以經由由相機或其它視覺組件捕獲的物理運動手勢來接收來自用戶的請求。自動助理可以通過控制對應的智能設備和/或提供響應的用戶界面輸出來響應于物理運動手勢，該響應的用戶界面輸出可以包括聽覺和/或視覺用戶界面輸出。

在一些情況下，用戶可能提供了物理運動手勢，雖然用戶預期以該物理運動手勢引起執行一自動助理動作，但是并沒有導致預期的該一自動助理動作被執行。例如，物理運動手勢可能以自動助理無法理解的方式來執行，和/或物理運動手勢可能是未明確映射到任何自動助理動作的物理運動手勢。結果，自動助理可能無法完全處理物理運動手勢和/或可能無法確定該手勢是對自動助理動作的請求。這會導致自動助理不對物理運動手勢提供任何響應，或者僅提供錯誤響應，例如“Sorry,I can’t help with that(對不起，我對此無能為力)”和/或錯誤音。盡管自動助理未能執行與物理運動手勢相對應的預期自動助理動作-或以其它方式未標識與該物理運動手勢相關聯的任何可執行動作，但是在處理該物理運動手勢并且試圖標識適當的動作時仍然消耗了各種計算機和/或網絡資源。例如，對應于物理運動手勢的數據可以被傳送和/或經歷一定量的處理。這種資源消耗是浪費的，因為沒有執行預期的動作。而且，用戶可能會試圖提供替代的用戶界面輸入(例如，口頭命令、觸摸輸入或替代的物理運動手勢)或提供該物理運動手勢的另一實例，以再次尋求執行預期動作。這樣的后續用戶界面輸入也將必須被處理。與用戶最初向自動助理提供合適的物理運動手勢相比，這導致執行附加處理并導致在動作執行時出現時延。因此，存在改善物理運動手勢輸入的效率的需求。

發明內容

本文提供的實施方式涉及使可用的輸入手勢與新提供的應用功能關聯，并使可用的輸入手勢和/或用戶創建的輸入手勢適于與現有應用功能關聯。最近創建的應用功能可以對應于可以由已經安裝在計算設備處的應用執行的動作，該計算設備在安裝該應用之前不具有執行該動作的功能性。盡管可以經由一個或多個用戶輸入(例如，如由應用的制造商建立)來控制應用功能，但是該應用功能可能不能經由任何物理運動手勢來控制。例如，用戶可以在他們的家用計算設備上安裝安保應用，并且該家用計算設備還可以包括用戶通常使用橫向手輕掃手勢來控制的消息收發應用。當用戶無法直接觸摸計算設備的界面和/或具有阻止他們向計算設備提供口頭話語的障礙時，對消息收發應用的這種控制可能是有用的。計算設備可以確定用戶頻繁地使用橫向手輕掃手勢，并且還確定安保應用的應用功能(例如，查看安保應用的警報)當前未被配置成經由橫向手輕掃手勢來控制。基于這些確定，計算設備可以生成將橫向手輕掃手勢映射到安保應用的應用功能的關聯數據。可選地，可以提示用戶確認該映射和/或以其它方式使用戶注意橫向手輕掃手勢可用于控制安保應用的一個或多個功能。這可以允許用戶決定是否將手勢映射到安保應用的功能。