[發明專利]深度學習模型的資源使用情況預測

在審

• 申請號: 202010025197.X
• 申請日: 2020-01-09
• 公開（公告）號: CN113095474A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 高彥杰;林昊翔;劉雨;楊懋
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

1.一種計算機實現的方法，包括：

獲取與深度學習模型有關的信息，所述信息包括用于描述所述深度學習模型的第一信息、以及與所述深度學習模型所關聯的任務的運行環境有關的第二信息；

基于所述第一信息，確定所述任務的靜態資源使用情況；

基于所述第一信息和所述第二信息，確定所述任務在所述運行環境中運行時的策略；以及

基于所述策略和所述靜態資源使用情況，預測所述任務在所述運行環境中運行時的資源使用情況。

2.根據權利要求1所述的方法，其中所述第一信息包括所述深度學習模型的配置參數。

3.根據權利要求1所述的方法，其中所述第一信息包括以下至少一項：所述深度學習模型的模型文件；以及所述任務的程序代碼。

4.根據權利要求1所述的方法，其中所述第二信息包括以下至少一項：

所述深度學習模型的框架類型；

所述運行環境中用于執行所述任務的計算設備的規格和數目；以及

所述任務在所述計算設備上的執行策略。

5.根據權利要求1所述的方法，其中所述資源使用情況包括以下至少一項：算力消耗；存儲器消耗；I/O資源消耗；執行時間；以及功率消耗。

6.根據權利要求5所述的方法，其中所述資源使用情況包括基于所述算力消耗和所述存儲器消耗中的至少一項而確定的其他資源消耗。

7.根據權利要求1所述的方法，其中確定所述靜態資源使用情況包括：

基于所述第一信息，生成與所述深度學習模型相對應的計算圖，所述計算圖包括多個節點，所述多個節點對應于所述深度學習模型中的多個算子，連接所述多個節點的邊緣指示所述多個算子之間的依賴關系；

基于所述計算圖和所述多個算子的相應資源預測模型，預測所述多個算子的相應靜態資源使用情況；以及

基于所述多個算子的相應靜態資源使用情況，確定所述任務的所述靜態資源使用情況。

8.根據權利要求1所述的方法，其中所述策略包括以下至少一項：

所述深度學習模型的資源分配策略；以及

所述任務在所述運行環境中的執行策略。

9.根據權利要求8所述的方法，其中預測所述任務在所述運行環境中運行時的所述資源使用情況包括：

基于所述資源分配策略和所述執行策略中的至少一項來調整所述靜態資源使用情況，以得到所述任務在所述運行環境中運行時的所述資源使用情況。

10.根據權利要求1所述的方法，還包括：

利用經訓練的機器學習模型，生成用于優化經預測的所述資源使用情況的參數；以及

基于所述參數，優化經預測的所述資源使用情況。

11.一種電子設備，包括：

處理單元；以及

存儲器，耦合至所述處理單元并且包含存儲于其上的指令，所述指令在由所述處理單元執行時，使得所述設備執行動作，所述動作包括：

獲取與深度學習模型有關的信息，所述信息包括用于描述所述深度學習模型的第一信息、以及與所述深度學習模型所關聯的任務的運行環境有關的第二信息；

基于所述第一信息，確定所述任務的靜態資源使用情況；

基于所述第一信息和所述第二信息，確定所述任務在所述運行環境中運行時的策略；以及

基于所述策略和所述靜態資源使用情況，預測所述任務在所述運行環境中運行時的資源使用情況。

12.根據權利要求11所述的設備，其中所述第一信息包括所述深度學習模型的配置參數。

13.根據權利要求11所述的設備，其中所述第一信息包括以下至少一項：所述深度學習模型的模型文件；以及所述任務的程序代碼。