[發明專利]顯存管理方法、裝置、設備及系統

在審

• 申請號: 202011219652.6
• 申請日: 2020-11-03
• 公開（公告）號: CN114443263A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 肖文聰;任仕儒;李永
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06T1/20;G06N20/00
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 錢秀茹

本申請公開了顯存管理方法、裝置、系統及設備。其中，所述方法包括：確定通過圖形處理單元運行的多個機器學習任務的優先級；若要為高優先級任務分配顯存資源、且可分配顯存資源小于高優先級任務的顯存資源需求量，則釋放低優先級任務占用的至少一部分顯存資源；為高優先級任務分配顯存資源，以至少根據顯存空間的張量數據，運行高優先級任務。采用這種處理方式，使得在可分配顯存資源不足時，將低優先級任務占用的顯存資源分配給高優先級任務使用，由此實現對在一個GPU上并行的多個機器學習任務占用的GPU顯存資源進行動態伸縮優化，這樣就可以在保障高優先級任務性能的前提下，提升整體集群的資源利用率。

技術領域

本申請涉及機器學習技術領域，具體涉及顯存管理方法、裝置及系統，機器學習系統，以及電子設備。

背景技術

隨著深度學習算法的不斷發展、及圖形處理單元(Graphics Processing Unit，GPU)算力的加持，深度學習已經成為企業產品數據流中至關重要的一環。為了支持大規模深度學習應用，企業通常會構建共享的GPU集群，用來支持橫跨多個領域產品的發展，如計算機視覺、自然語言處理、語音識別、推薦和廣告服務等。

為了提升GPU資源利用率、及整個GPU集群的生產量(throughput)，深度學習系統允許在一個GPU上同時運行多個深度學習任務，這樣可以用相同的資源量完成更多的深度學習訓練任務。目前，一種典型的GPU顯存資源復用方式是，由深度學習框架內的一個統一的顯存分配器進行顯存管理，當該分配器接收到任何一個任務的顯存資源申請時，只要運行該任務的GPU有空閑顯存資源，就為該任務分配相應的顯存空間，而不考慮該GPU上同時運行的其它任務對顯存資源的需求，這種處理方式可以加速任務的小批量訓練速度。

然而，在實現本發明過程中，發明人發現上述技術方案均至少存在如下問題：1)上述資源復用方式沒有提供任何性能隔離保障，會帶來難以控制的多任務間的互相影響。具體而言，當GPU被分配給一個“資源保障”任務單獨使用時，深度學習系統可以保障它的任務訓練性能。而由于GPU上缺乏了性能隔離的機制，如果這樣的GPU上面還有其他一起執行的任務，那么潛在的顯存資源競爭可能導致“資源保障”任務嚴重的性能下降。2)隨著訓練的進行，“資源保障”任務的GPU顯存需求可能突然增長，而如果此時GPU顯存被其它任務占用，則該“資源保障”任務將失敗，這更是不能接受的。綜上所述，如何對機器學習系統的共享顯存資源進行管理，以在確保高優先級任務的顯存資源使用的前提下，提升GPU集群利用率，成為本領域技術人員急需解決的問題。

發明內容

本申請提供顯存管理方法，以解決現有技術存在的無法保障高優先級任務性能的問題。本申請另外提供顯存管理裝置和系統，機器學習系統，以及電子設備。

本申請提供一種顯存管理方法，包括：

確定通過圖形處理單元運行的多個機器學習任務的優先級；

若要為高優先級任務分配顯存資源、且可分配顯存資源小于高優先級任務的顯存資源需求量，則釋放低優先級任務占用的至少一部分顯存資源；

為高優先級任務分配顯存資源，以至少根據顯存空間的張量數據，運行高優先級任務。

可選的，還包括：

釋放所述多個機器學習任務占用的空閑顯存資源。

可選的，所述釋放所述多個機器學習任務占用的空閑顯存資源，包括：

確定所述機器學習任務的顯存資源使用狀況信息；

若所述信息滿足顯存資源釋放條件，則釋放所述空閑顯存資源。

可選的，所述使用狀況信息包括：所述任務實際使用顯存資源的上限值；

所述釋放條件包括：所述任務的顯存資源分配量大于所述上限值的時長達到時長閾值。

可選的，還包括：