[發明專利]機器學習任務到共享高速緩存中的分配

在審

• 申請號: 202010322486.6
• 申請日: 2020-04-22
• 公開（公告）號: CN112015675A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: F·P·萬納;C·M·福雷特;姚笑終;S·哈雷哈拉蘇巴曼尼安
• 申請（專利權）人: 蘋果公司
• 主分類號: G06F12/084
• 分類號: G06F12/084;G06F12/0871;G06F9/54;G06N3/063
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 林程程

本公開涉及機器學習任務到共享高速緩存中的分配。本主題技術接收對應于神經網絡(NN)模型的代碼，所述代碼包括由NN模型執行的特定操作。在所述特定操作中，本主題技術確定將分配給要執行所述NN模型的電子設備的高速緩存的一組操作。本主題技術生成對應于所述確定的一組操作的一組高速緩存指示器。本主題技術編譯所述代碼和所述生成的一組高速緩存指示器，以提供用于所述NN模型的編譯的二進制文件以在目標設備上執行。

相關申請的交叉引用

本申請要求2019年5月31日提交的名稱為“ALLOCATION OF MACHINE LEARNINGTASKS INTO A SHARED CACHE”的美國臨時專利申請序列號62/855,900的權益，該申請據此全文以引用方式并入本文并且構成本美國實用新型專利申請的部分以用于所有目的。

技術領域

本說明書整體涉及編譯神經網絡模型以在目標平臺上執行。

背景技術

軟件工程師和科學家一直在使用計算機硬件進行機器學習，以在不同的行業應用(包括圖像分類、視頻分析、語音識別和自然語言處理等)中進行改進。值得注意的是，基于來自大量數據的訓練，神經網絡被更頻繁地用于創建可以執行不同計算任務的系統。

附圖說明

本主題技術的一些特征在所附權利要求書中被示出。然而，出于解釋的目的，在以下附圖中闡述了本主題技術的若干實施方案。

圖1示出了根據一個或多個具體實施的示例性網絡環境。

圖2示出了根據一個或多個具體實施的用于利用高速緩存指示器來編譯神經網絡的示例性計算架構。

圖3示出了基于操作中提供的高速緩存指示器來處理關于片上存儲器諸如高速緩存和/或片外存儲器諸如DRAM的機器學習操作的示例。

圖4示出了根據一個或多個具體實施的用于利用高速緩存指示器來編譯神經網絡的示例性過程的流程圖。

圖5示出了根據一個或多個具體實施的用于基于存儲器事務中的高速緩存指示器來為神經網絡分配存儲器的示例性過程的流程圖。

圖6示出了可以利用其來實現本主題技術的一個或多個具體實施的電子系統。

具體實施方式

下面示出的具體實施方式旨在作為本主題技術的各種配置的描述并且不旨在表示本主題技術可被實踐的唯一配置。附圖被并入本文并且構成具體實施方式的一部分。具體實施方式包括具體的細節旨在提供對本主題技術的透徹理解。然而，本主題技術不限于本文闡述的具體細節，而是可以采用一個或多個其他具體實施來實踐。在一個或多個具體實施中，以框圖形式示出了結構和部件，以便避免使本主題技術的概念模糊。

近年來由于大量訓練數據的可用性以及更強大和更高效的計算硬件的進步，機器學習普及率大幅上升。一種流行的機器學習技術是利用深度神經網絡來執行一組機器學習任務。對于訓練深度神經網絡，常見的方法是利用圖形處理單元(GPU)，并且還用于在新的輸入數據后訓練上執行深度神經網絡。

在用于執行一個或多個神經網絡的給定平臺上，平臺可提供有限量的存儲器。例如，現代計算設備通常包括各種類型的存儲器，包括較快高速緩存存儲器(例如，片上存儲器)和較慢主存儲器(例如，片外存儲器)，諸如動態隨機存取存儲器或DRAM。在較快高速緩存存儲器上執行此類神經網絡可提高神經網絡的性能，因為避免了訪問較慢DRAM的性能損失。另外，在一些計算平臺(諸如移動設備)上，當與訪問較快高速緩存存儲器相比時，訪問DRAM還導致更大的功率消耗。