[發明專利]深度學習模型的資源使用情況預測

在審

• 申請號: 202010025197.X
• 申請日: 2020-01-09
• 公開（公告）號: CN113095474A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 高彥杰;林昊翔;劉雨;楊懋
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

根據本公開的實現，提出了一種用于預測深度學習模型的資源使用情況的方案。在該方案中，與深度學習模型有關的信息被獲取。該信息包括用于描述深度學習模型的第一信息、以及與深度學習模型所關聯的任務的運行環境有關的第二信息。該任務的靜態資源使用情況基于第一信息被確定。該任務在運行環境中運行時的策略基于第一信息和第二信息被確定。然后，基于該策略和靜態資源使用情況來預測該任務在運行環境中運行時的資源使用情況。該方案能夠準確地預測深度學習模型在特定運行時策略下的各種資源的使用情況，諸如算力消耗、存儲器消耗和執行時間等。此外，該方案具有可擴展架構，便于支持各種不同類型的深度學習框架。

背景技術

近年來，深度學習在信息技術行業變得非常流行，并且正在改變人們的生活。了解深度學習任務在其整個生命周期中的準確資源使用情況對于提高生產效率至關重要。如果能夠準確地預測深度學習任務的資源使用情況，則深度學習開發人員可以預先選擇最佳模型參數，以避免由于資源不足而導致的故障，并且在資源限制的情況下獲得最佳模型性能。此外，如果能夠準確地預測深度學習任務的資源使用情況，則可以通過動態調整深度學習任務的執行計劃來確保深度學習任務在給定的服務水平協議(SLA)下完成(例如，滿足給定的時間或預算要求)。

發明內容

根據本公開的實現，提出了一種用于預測深度學習模型的資源使用情況的方案。在該方案中，與深度學習模型有關的信息被獲取。該信息包括用于描述深度學習模型的第一信息、以及與深度學習模型所關聯的任務的運行環境有關的第二信息。該任務的靜態資源使用情況基于第一信息被確定。該任務在運行環境中運行時的策略基于第一信息和第二信息被確定。然后，基于該策略和靜態資源使用情況來預測該任務在運行環境中運行時的資源使用情況。該方案能夠準確地預測深度學習模型在特定運行時策略下的各種資源的使用情況，諸如算力消耗、存儲器消耗和執行時間等。此外，該方案具有可擴展架構，便于支持各種不同類型的深度學習框架。

提供發明內容部分是為了簡化的形式來介紹對概念的選擇，其在下文的具體實施方式中將被進一步描述。發明內容部分無意標識要求保護的主題的關鍵特征或主要特征，也無意限制要求保護的主題的范圍。

附圖說明

圖1示出了能夠實施本公開的多個實現的計算設備的框圖；

圖2示出了根據本公開的實現的用于預測深度學習模型的資源使用情況的示例系統的框圖；

圖3A示出了深度學習模型的訓練任務的示例程序代碼；

圖3B示出了根據本公開的實現的與深度學習模型的訓練任務對應的示例計算圖；

圖3C示出了前向傳播過程中的卷積運算符所對應的深度神經網絡代碼庫中的示例代碼；以及

圖4示出了根據本公開的實現的用于預測深度學習模型的資源使用情況的示例方法的流程圖。

這些附圖中，相同或相似參考符號用于表示相同或相似元素。

具體實施方式

現在將參照若干示例實現來論述本公開。應當理解，論述了這些實現僅是為了使得本領域普通技術人員能夠更好地理解且因此實現本公開，而不是暗示對本公開的范圍的任何限制。

如本文所使用的，術語“包括”及其變體要被解讀為意味著“包括但不限于”的開放式術語。術語“基于”要被解讀為“至少部分地基于”。術語“一個實現”和“一種實現”要被解讀為“至少一個實現”。術語“另一個實現”要被解讀為“至少一個其他實現”。術語“第一”、“第二”等等可以指代不同的或相同的對象。下文還可能包括其他明確的和隱含的定義。