[發明專利]端云用戶交互方法、系統及相應設備、存儲介質

有效

• 申請號: 202010431050.0
• 申請日: 2020-05-20
• 公開（公告）號: CN111818120B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 奚智;沙斌;衣春雷;鄒仕洪;朱睿;李翔
• 申請（專利權）人: 北京元心科技有限公司
• 主分類號: H04L67/14
• 分類號: H04L67/14;H04L67/10;H04L67/08;G06F9/451
• 代理公司: 北京金闕華進專利事務所(普通合伙) 11224
• 代理人: 陳建春

本申請公開了端云用戶交互方法、系統及相應設備、存儲介質，其中在終端與云端之間建立有操控信息指令通道、端云協同渲染通道和/或音視頻數據交互通道，所述方法包括：終端經操控信息指令通道將人機交互指令、系統事件和/或消息上傳到云端，及云端基于接收到的人機交互指令、系統事件和/或消息更新消息列表并分發，云端經操控信息指令通道調用終端內核程序完成終端具體操作；和/或經端云協同渲染通道進行端云協同圖形渲染并在終端輸出圖形，其中云端通過端云協同渲染通道更新終端的圖形渲染數據；和/或終端通過音視頻數據交互通道播放云端音視頻資源，和/或將采集的音視頻上傳到云端。本發明可提高端云一體化操作系統的實時性、靈敏度和穩定性。

技術領域

本申請涉及數字信息的傳輸，尤其涉及端云用戶交互方法、系統及相應設備、存儲介質。

背景技術

操作系統由內核、驅動、文件系統、多媒體、應用管理、安全管理、輸入輸出等組成，通常幾乎所有這些都運行在一個終端上，對終端的配置要求比較高。用戶的使用方式通過終端的輸入輸出設備直接調用操作系統里相關的服務，所有的操作交互都在終端上完成。

已提出一種虛擬桌面基礎架構(VDI，Virtual?Desktop?Infrastructure)，其通過數據中心的服務器運行操作系統，將用戶的桌面進行虛擬化，如圖1所示。用戶通過來自客戶端設備(客戶機或者家用PC)的客戶計算協議與虛擬桌面進行連接，用戶訪問他們的桌面就像是訪問傳統的本地安裝桌面一樣。

還已提出一種虛擬移動基礎架構(VMI)，其將“虛擬手機”集中部署在數據中心，實現“虛擬手機”統一管控，如圖2示意性示出的。

VDI或VMI架構均可以解決傳統電腦/移動終端方案的諸多問題，如主機資源利用率低、硬件易老化、安裝和升級系統軟件的重復性工作量大、數據不集中不安全、易中毒等。然而，VMI/VDI的交互方式是端云(終端和云端)間通過大量圖像傳輸進行，效果體驗差、桌面不穩定、集中運算性能差。

發明內容

為了克服現有技術中存在的不足，本發明提供一種端云用戶交互方法、系統及相應設備、存儲介質，其可提高端云一體化操作系統的實時性、靈敏度和穩定性，并解決終端設備和應用碎片化問題。

在本發明的第一方面，提供一種端云用戶交互方法，在終端與云端之間建立有操控信息指令通道、端云協同渲染通道和/或音視頻數據交互通道，所述方法包括：

終端經所述操控信息指令通道將人機交互指令、系統事件和/或消息上傳到云端，及云端基于接收到的人機交互指令、系統事件和/或消息更新消息列表并分發，云端經所述操控信息指令通道調用終端內核程序完成終端具體操作；和/或

經所述端云協同渲染通道進行端云協同圖形渲染并在終端輸出圖形，其中云端通過所述端云協同渲染通道更新終端的圖形渲染數據；和/或

終端通過所述音視頻數據交互通道播放云端音視頻資源，和/或將采集的音視頻上傳到云端。

在實施例中，端云協同圖形渲染的端云協作模式和/或音視頻數據交互的多媒體協同處理至少根據終端設備配置和網絡環境動態或靜態確定。

在本發明的第二方面，提供一種端云用戶交互系統，在終端與云端之間建立有操控信息指令通道、端云協同渲染通道和/或音視頻數據交互通道，所述系統包括：

操控信息指令交互模塊，用于使得終端經所述操控信息指令通道將人機交互指令、系統事件和/或消息上傳到云端，及云端基于接收到的人機交互指令、系統事件和/或消息更新消息列表并分發，云端經所述操控信息指令通道調用終端內核程序完成終端具體操作；和/或

端云協同渲染模塊，用于經所述端云協同渲染通道進行端云協同圖形渲染并在終端輸出圖形，其中云端通過所述端云協同渲染通道更新終端的圖形渲染數據；和/或