[發明專利]一種遠程桌面圖像的合成方法和裝置

有效

• 申請號: 201410002158.2
• 申請日: 2014-01-02
• 公開（公告）號: CN104765636B
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 江志敏;龐西豹
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06T5/50;H04L29/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明實施例涉及計算機技術，特別是一種遠程桌面圖像的合成方法、系統和裝置。

背景技術

遠程桌面是目前企業辦公環境的一種流行技術，常用來將一臺計算機屏幕顯示的內容傳送到另外一處的顯示屏顯示，通常我們使用的windows遠程登錄程序(mstsc.exe)是最常見遠程桌面程序，可以方便的登錄另外的遠程計算機。目前大多數的遠程桌面系統都是基于IP網絡來傳送遠程桌面。遠程桌面并不僅指遠程的屏幕顯示，還可以包含遠程聲音傳送、可插拔硬件映射等技術。遠程桌面又可以稱為虛擬桌面。在虛擬桌面場景下至少存在一臺服務器和一臺客戶機，通過客戶機上安裝的虛擬桌面客戶端軟件登陸到服務器上。

當用戶使用遠程桌面時，如果有三維(three-dimensional，3D)圖像需要處理的時候，就需要我們提供的虛擬桌面有圖形處理器(Graphic Processing Unit，GPU)進行圖形處理，而GPU虛擬化技術就是讓多臺遠程主機(如虛擬機)共享使用一塊或多塊GPU進行圖形運算。目前，業界存在多種3D繪圖編程接口，例如Direct 3D和OpenGl(Open Graphics Library)。在采用GPU軟件虛擬化方案中，由于Direct 3D和OpenGl兩種繪圖接口的不同，因此在GPU中需要分別進行渲染實現。

現有技術中的一種遠程桌面GPU虛擬化方案中Direct 3D和OpenGL渲染圖像結果融合的方法，是服務端虛擬機將Direct 3D和OpenGL指令和數據分別發送到渲染服務器上進行分開渲染，虛擬機獲取到兩種渲染后的圖像后，在虛擬機中進行融合并形成桌面圖像并發送到客戶端顯示。該方案的缺陷是Direct 3D和OpenGL分別渲染后的圖像在虛擬機進行融合效率不高，特別是在虛擬桌面開啟Windows Aero特效的情況下，OpenGL渲染后的圖像會從虛擬機再次發送到Direct 3D所在的渲染服務器進行再次渲染，效率不高。

發明內容

本發明實施例提出了一種遠程桌面圖像的合成方法、裝置和系統，用于在GPU虛擬化中將Direct 3D和OpenGL分別渲染后圖像快速融合，以獲得遠程桌面圖像。

第一方面，本發明實施例提出了一種遠程桌面圖像的合成方法，客戶端通過遠程桌面協議接入到虛擬機，所述虛擬機與渲染服務器通信以獲得所述客戶端的遠程桌面圖像，所述渲染服務器包括Direct 3D渲染模塊和OpenGL渲染模塊，所述方法包括：

所述渲染服務器接收所述虛擬機發送的Direct 3D渲染指令，所述Direct 3D渲染指令包含Direct 3D的渲染指令和第一圖像數據；

所述渲染服務器接收所述虛擬機發送的OpenGL渲染指令，所述OpenGL渲染指令包含OpenGL的渲染指令和第二圖像數據；

所述渲染服務器采用所述Direct 3D渲染模塊根據所述Direct 3D的渲染指令對所述第一圖像數據進行渲染，得到第三圖像數據；

所述渲染服務器采用所述OpenGL渲染模塊根據所述OpenGL的渲染指令對所述第二圖像數據進行渲染，得到第四圖像數據；

所述渲染服務器將所述第三圖像數據和第四圖像數據組合成所述虛擬機的遠程桌面圖像；

所述渲染服務器將所述遠程桌面圖像發送給所述虛擬機

結合第一方面，在第一種可能的實現方式中，所述渲染服務器將所述遠程桌面圖像編碼為桌面視頻流數據；

所述渲染服務器向所述虛擬機發送所述桌面視頻流數據。

結合第一方面或第一方面的第一種可能，在第二種可能的實現方式中，所述將所述第三圖像數據和第四圖像數據組合成所述虛擬機的遠程桌面圖像包括：

所述OpenGL渲染模塊向所述虛擬機發送所述第四圖像數據的地址和桌面顯示位置信息；

所述Direct 3D渲染模塊獲取所述虛擬機轉發的所述第四圖像數據的地址和桌面顯示位置信息；

所述Direct 3D渲染模塊根據所述第四圖像數據的地址從所述OpenGL渲染模塊獲取所述第四圖像數據；

所述Direct 3D渲染模塊根據所述第三圖像數據的桌面顯示位置信息和所述第四圖像數據的桌面顯示位置信息，將所述第三圖像數據和第四圖像數據繪制成所述遠程桌面圖像。

結合第一方面或者第一方面的第一種可能的實現方式，在第三種可能的實現方式中，所述將所述第三圖像數據和第四圖像數據組合成所述虛擬機的遠程桌面圖像包括：