[發明專利]具有丟失或者延遲的輸入事件的恢復的流應用環境

有效

• 申請號: 201780071421.5
• 申請日: 2017-09-27
• 公開（公告）號: CN110192181B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 張倬領;彼得·譚
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;H04M1/72403;H04N21/422;G06F3/04883;G06F3/038;H04L65/61
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;安翔

1.一種方法，包括，在包括一個或多個處理器的流應用環境中：

將虛擬流應用與通過分組交換網絡耦合到流應用環境的遠程設備對接，包括：

從所述分組交換網絡接收在所述遠程設備處生成的輸入，并且

將響應于接收到的輸入由所述虛擬流應用生成的輸出顯示表示通過所述分組交換網絡流傳輸到所述遠程設備，所述輸出顯示表示包括多個幀；

從所述遠程設備接收多個輸入事件，所述多個輸入事件的每個輸入事件與在所述輸出顯示表示的幀的渲染期間在所述遠程設備上生成的輸入相關聯，并且所述多個輸入事件的每個輸入事件與對應時間戳相關聯；

從接收到的所述多個輸入事件合成至少一個校正事件，所述至少一個校正事件對應于在所述輸出顯示表示的幀的渲染期間在所述遠程設備上生成的所述多個輸入事件的丟失或延遲的輸入事件，所述至少一個校正事件與用于所述至少一個校正事件的校正事件時間戳相關聯，并響應于所述遠程設備上生成的輸入；

生成所述多個輸入事件和所述至少一個校正事件的優先級隊列，其中，生成所述優先級隊列是基于接收到的所述多個輸入事件的對應時間戳以及基于所述至少一個校正事件的所述校正事件時間戳；以及

在所述虛擬流應用內并且根據用于所述優先級隊列中的每個輸入事件的對應時間戳以及用于所述優先級隊列中的所述至少一個校正事件的所述校正事件時間戳，控制將接收到的所述多個輸入事件和所述至少一個校正事件注入到所述虛擬流應用中，以同步接收到的所述多個輸入事件和所述至少一個校正事件。

2.根據權利要求1所述的方法，其中，接收到的所述多個輸入事件包括與由所述遠程設備接收到的用戶手勢相關聯的手勢開始事件、手勢停止事件和手勢移動事件，所述方法進一步包括跟蹤用戶手勢的狀態。

3.根據權利要求2所述的方法，其中，所述用戶手勢與觸摸屏的觸摸相關聯，其中所述手勢開始事件是觸摸向下事件，所述手勢停止事件是觸摸向上事件，并且所述手勢移動事件是觸摸移動事件。

4.根據權利要求2所述的方法，其中，跟蹤所述用戶手勢的狀態包括確定所述手勢是開始還是完成。

5.根據權利要求4所述的方法，其中，合成對應于丟失或延遲的輸入事件的所述至少一個校正事件包括：響應于當跟蹤所述用戶手勢的狀態指示所述手勢開始時檢測到手勢開始事件，合成手勢停止事件以在檢測到的手勢開始事件之前被注入。

6.根據權利要求5所述的方法，其中，合成所述手勢停止事件包括：從檢測到的手勢開始事件生成重復事件，將用于所述重復事件的動作設置為停止，利用最后注入的坐標來設置用于所述重復事件的坐標，以及將用于所述重復事件的時間戳設置為最后手勢開始時間戳。

7.根據權利要求4所述的方法，其中，合成對應于丟失或延遲的輸入事件的所述至少一個校正事件包括：響應于當跟蹤所述用戶手勢的狀態指示所述手勢完成時檢測到手勢停止事件或手勢移動事件，合成手勢開始事件以在檢測到的手勢停止事件或手勢移動事件之前被注入。

8.根據權利要求7所述的方法，其中，合成所述手勢開始事件包括從檢測到的手勢停止事件或所述手勢移動事件生成重復事件，并且將用于所述重復事件的動作設置為開始。

9.根據權利要求4所述的方法，進一步包括：跟蹤最后手勢開始時間戳，其中合成對應于丟失或延遲的輸入事件的所述至少一個校正事件包括：響應于當跟蹤所述用戶手勢的狀態指示所述手勢開始時檢測到手勢停止事件或手勢移動事件并且檢測到匹配的手勢開始事件的對應時間戳不同于所述最后手勢開始時間戳，合成手勢停止事件和手勢開始事件對以在檢測到的手勢停止事件或所述手勢移動事件之前被注入。

10.根據權利要求2至9中的任意一項所述的方法，進一步包括：合成在接收到的手勢開始事件之后的用于注入的至少一個伴隨手勢移動事件。