[發明專利]機器學習任務到共享高速緩存中的分配

在審

• 申請號: 202010322486.6
• 申請日: 2020-04-22
• 公開（公告）號: CN112015675A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: F·P·萬納;C·M·福雷特;姚笑終;S·哈雷哈拉蘇巴曼尼安
• 申請（專利權）人: 蘋果公司
• 主分類號: G06F12/084
• 分類號: G06F12/084;G06F12/0871;G06F9/54;G06N3/063
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 林程程

1.一種方法，包括：

接收對應于神經網絡(NN)模型的代碼，所述代碼包括由所述NN模型執行的特定操作，其中所述特定操作中的至少一些包括在所述NN模型的執行期間要存儲在電子設備的存儲器中的相應數據；

在所述特定操作中，確定將分配給要執行所述NN模型的所述電子設備的高速緩存的一組操作；

生成對應于所述確定的一組操作的一組高速緩存指示器，其中所述一組高速緩存指示器包括指示是否請求在所述高速緩存中分配存儲器的信息；以及

編譯所述代碼和所述生成的一組高速緩存指示器，以提供用于所述NN模型的編譯的二進制文件以在目標設備上執行。

2.根據權利要求1所述的方法，其中所述特定操作由神經處理器、GPU或CPU中的至少一者執行，并且所述特定操作中的每個操作對應于由所述NN模型執行的至少機器學習操作，并且所述高速緩存在所述神經處理器、所述GPU和所述CPU之間共享。

3.根據權利要求2所述的方法，其中至少部分地基于當所述NN模型由所述目標設備執行時所述特定操作使用的存儲器的預先確定的量，將存儲器的相應配額分配給所述神經處理器、所述GPU或所述CPU中的至少一者。

4.根據權利要求3所述的方法，其中至少部分地基于由所述目標設備提供的高速緩存存儲器的大小來約束所述存儲器的相應配額，并且

所述存儲器的相應配額是動態的，使得在由所述目標設備執行所述NN模型期間，使所述目標設備的特定處理器能夠至少部分地基于所述存儲器的相應配額來請求存儲器的分配。

5.根據權利要求1所述的方法，其中所述一組操作僅包括一個操作。

6.根據權利要求1所述的方法，其中生成對應于所述確定的一組操作的所述一組高速緩存指示器還包括生成指示所述特定操作僅使用數據一次并且所述數據將被存儲在比所述高速緩存慢的第二存儲器中的另外信息。

7.根據權利要求1所述的方法，其中生成對應于所述確定的一組操作的所述一組高速緩存指示器還包括生成指示所述特定操作使用數據多次并且所述數據將被存儲在所述高速緩存中的另外信息。

8.根據權利要求1所述的方法，其中生成對應于所述確定的一組操作的所述一組高速緩存指示器包括生成指示用以使對應于所述確定的一組操作不再利用的數據的所述高速緩存的一部分失效的高速緩存刪除操作的另外信息。

9.根據權利要求1所述的方法，其中確定所述一組操作至少部分地基于特定操作是否使用在所述特定操作的執行期間被訪問不止一次的數據。

10.根據權利要求1所述的方法，其中要分配給所述高速緩存的所述一組操作至少部分地基于一組優先級，所述一組優先級指示特定數據被給定的優先級高于其他數據，以基于性能要求或能源要求放置在所述高速緩存中。

11.一種系統，包括：

處理器；

存儲器設備，所述存儲器設備包含指令，所述指令在由所述處理器執行時使所述處理器：

接收對應于神經網絡(NN)模型的代碼，所述代碼包括由所述NN模型執行的特定操作，其中所述特定操作中的至少一些包括在所述NN模型的執行期間要存儲在電子設備的存儲器中的相應數據；

在所述特定操作中，確定將分配給要執行所述NN模型的所述電子設備的高速緩存的一組操作；

生成對應于所述確定的一組操作的一組高速緩存指示器，其中所述一組高速緩存指示器包括指示是否請求在所述高速緩存中分配存儲器的信息；以及

編譯所述代碼和所述生成的一組高速緩存指示器，以提供用于所述NN模型的編譯的二進制文件以在目標設備上執行。