[發(fā)明專利]基于API重定向技術(shù)的GPU虛擬化實(shí)現(xiàn)系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010134209.2
• 申請(qǐng)日: 2020-03-02
• 公開（公告）號(hào): CN111399976A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 戚正偉;李凱詩;管海兵;湯冬劼;汪沄;李林生
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06F9/455
• 分類號(hào): G06F9/455;G06F9/50
• 代理公司: 上海恒慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 張寧展

本發(fā)明提供了一種基于API重定向技術(shù)的GPU虛擬化實(shí)現(xiàn)系統(tǒng)，其中：位于客戶端的指令代理模塊截獲客戶端的圖像應(yīng)用程序中與OpenGL相關(guān)的API調(diào)用指令，并對(duì)該指令進(jìn)行處理后，發(fā)送至遠(yuǎn)程服務(wù)器端執(zhí)行渲染任務(wù)；任務(wù)調(diào)度模塊將客戶端發(fā)來的指令數(shù)據(jù)進(jìn)行相應(yīng)處理得到指令流，并分配給各個(gè)微GPU模塊；微GPU模塊完成指令流的渲染任務(wù)，并回傳至客戶端。同時(shí)提供了一種基于API重定向技術(shù)的GPU虛擬化實(shí)現(xiàn)方法。本發(fā)明提供了一個(gè)通用的加速服務(wù)平臺(tái)，具有較好的通用性，且不需要修改源程序代碼，使用簡(jiǎn)便。

技術(shù)領(lǐng)域

本發(fā)明涉及GPU虛擬化技術(shù)領(lǐng)域，具體地，涉及一種基于API重定向技術(shù)的GPU虛擬化實(shí)現(xiàn)系統(tǒng)及方法。

背景技術(shù)

隨著機(jī)器學(xué)習(xí)研究領(lǐng)域的熱度持續(xù)上升，學(xué)術(shù)界和工業(yè)界對(duì)于數(shù)據(jù)計(jì)算的需求也節(jié)節(jié)攀升。借由浮點(diǎn)數(shù)運(yùn)算的高計(jì)算能力與數(shù)據(jù)并行的優(yōu)勢(shì)，GPU成為了高性能計(jì)算與云計(jì)算領(lǐng)域的新寵。然而隨著GPU性能的不斷提升，其大體積、高功耗帶來的高硬件成本已經(jīng)成為影響其使用的一大難題。為此，越來越多的使用者選擇提供GPU云方案的云計(jì)算平臺(tái)進(jìn)行數(shù)據(jù)計(jì)算。

云計(jì)算技術(shù)的核心之一是虛擬化技術(shù)。虛擬化技術(shù)通過各類方法實(shí)現(xiàn)對(duì)系統(tǒng)資源的復(fù)用，將有限的資源高效地提供給多個(gè)用戶使用，提高系統(tǒng)的資源使用率并降低單個(gè)用戶的成本。相較于虛擬化技術(shù)成熟的其他設(shè)備，設(shè)備驅(qū)動(dòng)的閉源，架構(gòu)設(shè)計(jì)的差異的現(xiàn)狀使得GPU在虛擬化技術(shù)實(shí)現(xiàn)上面臨著許多難題。

當(dāng)前GPU資源池的實(shí)現(xiàn)有著兩種技術(shù)思路，一種是在單個(gè)計(jì)算機(jī)上聚合多個(gè)GPU設(shè)備從而組成加速系統(tǒng)，另一種則是由多臺(tái)配有GPU的計(jì)算機(jī)組成集群提供加速服務(wù)。前者的使用場(chǎng)景主要是滿足運(yùn)算量小的業(yè)務(wù)需求，但是有著資源使用率較低的缺點(diǎn)。后者的設(shè)計(jì)方法與數(shù)據(jù)中心的硬件條件相性更好，改造更簡(jiǎn)易，更適用于當(dāng)前的數(shù)據(jù)中心環(huán)境，但是仍然存在如下問題：。

云廠商通常以單張GPU設(shè)備為單位提供粗粒度的遠(yuǎn)程GPU服務(wù)，帶來了較高的成本以及使用門檻，同時(shí)對(duì)設(shè)備資源的利用率不高。另外，在多臺(tái)客戶端同時(shí)提出渲染請(qǐng)求時(shí)，帶寬資源也會(huì)成為系統(tǒng)的瓶頸。

目前沒有發(fā)現(xiàn)同本發(fā)明類似技術(shù)的說明或報(bào)道，也尚未收集到國(guó)內(nèi)外類似的資料。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)中存在的上述不足，提出了一種基于API重定向技術(shù)的GPU虛擬化實(shí)現(xiàn)系統(tǒng)及方法，屬于一種遠(yuǎn)程共享的GPU資源池設(shè)計(jì)，為當(dāng)前的GPU云環(huán)境提出了一種虛擬化解決方案，滿足日益增長(zhǎng)的對(duì)GPU云計(jì)算服務(wù)的需求。

本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于API重定向技術(shù)的GPU虛擬化實(shí)現(xiàn)系統(tǒng)，包括：設(shè)置于客戶端的指令代理模塊；設(shè)置于遠(yuǎn)程服務(wù)器端的任務(wù)調(diào)度模塊和一個(gè)或多個(gè)微GPU模塊；設(shè)置于客戶端和遠(yuǎn)程服務(wù)器端之間用于數(shù)據(jù)通訊的通信模塊；其中：

所述指令代理模塊：用于截獲客戶端的圖像應(yīng)用程序中與OpenGL相關(guān)的API調(diào)用指令，并對(duì)該指令進(jìn)行處理后，通過通信模塊發(fā)送至遠(yuǎn)程服務(wù)器端執(zhí)行渲染任務(wù)；

所述任務(wù)調(diào)度模塊：用于將客戶端發(fā)來的指令數(shù)據(jù)進(jìn)行相應(yīng)處理得到指令流，并分配給各個(gè)微GPU模塊；

所述微GPU模塊：用于完成指令流的渲染任務(wù)，并回傳至客戶端。

優(yōu)選地，所述指令代理模塊在客戶端被設(shè)置為環(huán)境變量，從而以共享庫的形式，在客戶端的圖像應(yīng)用程序啟動(dòng)時(shí)加載指令代理模塊的OpenGL實(shí)現(xiàn)。

優(yōu)選地，所述指令代理模塊對(duì)指令進(jìn)行壓縮處理；相應(yīng)地，所述任務(wù)調(diào)度模塊用于對(duì)壓縮后的指令進(jìn)行解壓縮并分發(fā)至各個(gè)微GPU模塊。

優(yōu)選地，所述指令代理模塊對(duì)指令進(jìn)行壓縮處理，采用如下任意一種或任意多種方法：

-采用差量傳輸方式，在傳輸前比較相鄰的兩幀，壓縮指令的傳輸量；