[發明專利]減少由切換輸入模態所引起的延遲

有效

• 申請號: 201610812805.5
• 申請日: 2016-09-09
• 公開（公告）號: CN106991106B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 德魯夫·巴克希;扎希德·撒布爾
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30;G10L15/22;G10L15/30;G06F9/451
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李佳;穆德駿

本文涉及減少由切換輸入模態所引起的延遲。在各種實施方式中，可以由電子設備所提供的多模態接口的第一模態接收第一輸入，諸如文本輸入。響應于所述第一輸入滿足一個或多個準則的確定，所述電子設備可以以搶先方式在所述電子設備與查詢處理器之間建立會話，所述查詢處理器被配置成處理以所述多模態接口的第二模態所接收的輸入(例如，語音輸入)。在各種實施方式中，所述電子設備可以所述多模態接口的所述第二模態接收第二輸入(例如，語音輸入)，在所述會話內發起在所述查詢處理器處對所述第二輸入的至少一部分的處理，以及基于來自所述查詢處理器的輸出來構建完整的查詢。

技術領域

本說明書一般地針對促進在輸入模態之間切換時對用戶經歷的延遲的減少和/或消除的各種實施方式，尤其是在用戶從低延遲輸入模態切換到高延遲輸入模態的情況下。

背景技術

基于語音的用戶接口越來越廣泛地被使用于對計算機以及其他電子設備的控制。基于語音的用戶接口的一種特別有益的應用是采用便攜式電子設備，諸如移動電話、手表、平板計算機、頭戴式設備、虛擬或增強現實設備等。另一種有益應用是采用車載電子系統，諸如合并導航與音頻性能的汽車系統。這樣的應用的特點通常在于非傳統形式的因素，所述因素限制了更加傳統的鍵盤或觸摸屏輸入的功用和/或在期望鼓勵用戶持續專注于其他任務的情形下的使用，諸如當用戶正在開車或行走時。

例如，在處理器和/或存儲器資源方面，基于語音的用戶接口的計算資源需求可能相當大量。作為結果，一些常規的基于語音的用戶接口方法采用客戶端-服務器架構，其中由相對功率較低的客戶端設備接收和記錄語音輸入，通過諸如互聯網的網絡將該記錄傳送至用于語音到文本轉換以及語義處理的在線服務，并且由在線服務生成適當響應并且將其傳送回客戶端設備。在線服務能夠投入大量的計算資源來處理語音輸入，能夠實現比以其他方式在客戶端設備內本地實現更加復雜的話音識別和語義分析功能。然而，客戶端-服務器方法必定要求客戶端在處理語音輸入時在線(即，與在線服務進行通信)。保持這樣的客戶端與在線服務之間的連接性可能會不切實際，特別是在無線信號強度無疑會發生波動的移動和汽車應用中。因此，當需要使用在線服務將語音輸入轉換成文本時，必須在客戶端與服務器之間建立語音到文本轉換會話。在建立這樣的會話的同時，用戶可能經歷明顯的延遲，例如，1至2秒或更長時間，這可能會有損于用戶體驗。

發明內容

本說明書一般地針對促進在輸入模態之間切換時對用戶經歷的延遲的減少和/或消除的各種實施方式，尤其是在用戶從低延遲輸入模態切換到高延遲輸入模態的情況下。例如，在一些實施方式中，當環境指示經由低延遲輸入模態提供輸入(例如，文本)的用戶有可能切換到語音輸入時，可以以搶先方式建立語音到文本轉換會話。

因此，在一些實施方式中，一種方法可以包括以下操作：以與電子設備相關聯的多模態接口的第一模態接收第一輸入，并且響應于接收所述第一輸入：確定所述第一輸入滿足準則；響應于所述第一輸入滿足準則的確定，以搶先方式在所述電子設備與查詢處理器之間建立會話，所述查詢處理器被配置成處理以所述多模態接口的第二模態所接收的輸入；以所述多模態接口的所述第二模態接收第二輸入；在所述會話內發起在所述查詢處理器處對所述第二輸入的至少一部分的處理；以及基于來自所述查詢處理器的輸出而構建完整的查詢。

在一些實施方式中，一種方法可以包括以下操作：用支持語音的設備接收文本輸入；以及在所述支持語音的設備中，并且響應于接收所述文本輸入：確定所述文本輸入滿足準則；響應于所述文本輸入滿足準則的確定，以搶先方式在所述支持語音的設備與語音到文本轉換處理器之間建立語音到文本轉換會話；接收語音輸入；在所述會話內發起在所述語音到文本轉換處理器處對所述語音輸入的至少一部分的處理；以及基于來自所述語音到文本轉換處理器的輸出來構建完整的查詢。