[發明專利]具有丟失或者延遲的輸入事件的恢復的流應用環境

有效

• 申請號: 201780071421.5
• 申請日: 2017-09-27
• 公開（公告）號: CN110192181B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 張倬領;彼得·譚
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;H04M1/72403;H04N21/422;G06F3/04883;G06F3/038;H04L65/61
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;安翔

在通過分組交換網絡耦合到遠程設備的流應用環境中，可以從接收自遠程設備的輸入事件合成校正事件，并將其注入到虛擬流應用中以解決丟失或延遲的輸入事件。另外，拖曳事件可以由遠程設備在其間沒有生成新輸入事件的幀中重新發出。

背景技術

一些應用服務提供將軟件應用(更簡單地“應用”或“app”)交互“流傳輸”到遠程設備(例如，諸如智能電話、平板電腦、車輛計算系統、可穿戴設備(例如，智能手表)等等的移動設備)的能力。這樣的應用的流傳輸可以允許用戶操作應用而無需在遠程設備上本地實際下載和安裝應用，這在具有有限處理和/或存儲器資源的遠程設備中可能是有用的，或者為了試用應用的目的。在一些實例中，可以通過在由一個或多個服務器(例如，共同形成的所謂的“云”)操作的虛擬機上安裝應用來完成應用流傳輸，由此一個或多個輸入/輸出(“I/O”)流可以在虛擬機和遠程設備之間建立以向虛擬機提供在遠程設備處接收到的輸入數據的各種模態，并且同樣地向遠程設備提供由來自于虛擬機的應用生成的輸出數據的各種模態。

在一些實例中，應用服務在能夠支持一個或多個虛擬流應用以供一個或多個遠程設備使用的流應用環境中實現。此外，在一些實例中，虛擬流應用生成的內容可以以被捕獲、編碼并流傳輸到遠程設備以進行視頻回放的渲染幀緩沖器的形式輸出。然后，在遠程設備上，諸如手勢或觸摸事件和其他輸入的用戶控制信息可以被捕獲、編碼并被上傳到流應用環境并注入虛擬流應用以相應地渲染其內容。

然而，即使超出在遠程設備上的本地應用所渲染的同步挑戰，將用戶控制信息和其他輸入的注入與遠程設備上的應用內容的渲染同步也能夠是有問題的。例如，在諸如移動設備的計算設備包括能夠被用戶的手指操縱的觸摸屏的情況下，確保通過渲染的內容跟蹤諸如手指滑動或滾動手勢的用戶輸入即使對于本地已安裝的應用也能夠是挑戰性的。

作為示例，使用多個事件來處理針對觸摸屏的許多手勢。在許多實例中，諸如手指滑動的手勢通常由當用戶第一次將手指放在觸摸屏上時發出信號的“觸摸向下(touchdown)”事件、當用戶抬起手指離開觸摸屏時發出信號的“觸摸向上(touch up)”事件、以及在觸摸觸摸屏時跟蹤手指移動的多個“觸摸移動(touch move)”事件來表示。在許多計算設備中，可以以與觸摸屏計算設備的幀刷新速率匹配的速率(即在觸摸屏上更新以幀形式渲染的內容的速率)在該設備上生成事件。此外，在許多計算設備中，幀可以以大約60Hz或更高的頻率進行更新，并且因此，簡單的手指滑動可以導致產生數十或數百個單獨但相關的事件。此外，已經發現，當某些類型的用戶輸入事件未與在此期間生成輸入事件的所渲染的內容幀適當地同步時，可能導致不良的用戶體驗。但是作為一個示例，通過在觸摸屏上拖動用戶的手指來緩慢滾動內容能夠導致當與移動相關聯的事件被映射到錯誤幀時的不穩定。

然而，在計算設備通過諸如因特網的分組交換網絡在流應用環境中與虛擬流應用交互的情況下，前述同步挑戰要大得多。由于因特網和其他分組交換網絡的實際限制，包含用戶輸入和/或渲染內容的分組可能被完全延遲或丟失，并且可能無序地到達。此外，在許多移動和/或車輛應用中可能出現網絡連接受損的情況下，分組丟失或延遲的風險更大。雖然諸如傳輸控制協議(TCP)的協議允許在丟失分組的情況下進行分組重傳，但是等待接收所有分組以便于確保接收和處理所有輸入數據和渲染內容可能會引入不可接受的延遲并減損用戶體驗。

發明內容

本文公開的一些實施方式可以包括在包括一個或多個處理器的流應用環境中執行的方法，其可以包括將虛擬流應用與通過分組交換網絡耦合到流應用環境的遠程設備對接，包括從分組交換網絡接收在遠程設備處生成的輸入并且將響應于接收到的輸入由虛擬流應用生成的輸出顯示表示通過分組交換網絡流傳輸到遠程設備，從遠程設備接收輸入事件，每個輸入事件與在遠程設備上生成的輸入相關聯，從接收到的輸入事件合成至少一個校正事件，所述至少一個校正事件對應于在遠程設備處生成的丟失或延遲的輸入事件，以及控制接收到的輸入事件和至少一個校正事件到虛擬流應用中的注入。