[發(fā)明專利]神經網絡的動態(tài)任務分配

有效

• 申請?zhí)枺?/td>: 201880035228.0
• 申請日: 2018-04-24
• 公開（公告）號: CN110678846B
• 公開（公告）日: 2021-09-10
• 發(fā)明（設計）人: F·羅西;G·卡普爾;M·R·西拉庫薩;W·B·馬奇
• 申請（專利權）人: 蘋果公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/063
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 羅利娜

本主題技術為神經網絡模型的動態(tài)任務分配作準備。本主題技術確定在神經網絡模型的節(jié)點處執(zhí)行的操作。本主題技術至少部分地基于目標平臺的硬件能力來分配注釋以指示操作是在CPU上還是在GPU上更好地執(zhí)行。本主題技術確定神經網絡模型是否包括第二層。響應于確定該神經網絡模型包括第二層，對于該神經網絡模型的該第二層的每個節(jié)點，本主題技術確定在節(jié)點處執(zhí)行的第二操作。另外，本主題技術至少部分地基于目標平臺的硬件能力來分配第二注釋以指示該第二操作是在CPU上還是在GPU上更好地執(zhí)行。

相關申請的交叉引用

本申請要求2017年6月3日提交的名稱為“DYNAMIC TASK ALLOCATION FOR NEURALNETWORKS”的美國臨時專利申請序列號62/514,779的權益，該申請據此全文以引用方式并入本文并構成本美國實用新型專利申請的一部分以用于所有目的。

技術領域

本發(fā)明整體涉及任務分配，包括用于神經網絡的動態(tài)任務分配。

背景技術

軟件工程師和科學家一直在使用計算機硬件進行機器學習，以便在不同的行業(yè)應用中進行改進，這些行業(yè)應用包括圖像分類、視頻分析、語音識別和自然語言處理等。值得注意的是，深度學習神經網絡正被更頻繁地使用，以根據大量數據創(chuàng)建可執(zhí)行不同計算任務的系統(tǒng)。

附圖說明

本主題技術的一些特征在所附權利要求書中被示出。然而，出于解釋的目的，在以下附圖中闡述了本主題技術的若干實施方案。

圖1示出了根據一個或多個具體實施的用于執(zhí)行神經網絡的動態(tài)任務分配的示例性網絡環(huán)境。

圖2示出了根據一個或多個具體實施的用于執(zhí)行神經網絡的動態(tài)任務分配的示例性軟件架構。

圖3A-圖3C示出了根據一個或多個具體實施的注釋的不同示例中的示例性神經網絡模型。

圖4示出了根據一個或多個具體實施的用于對神經網絡模型進行注釋的示例性過程的流程圖。

圖5示出了用于執(zhí)行神經網絡模型并根據一個或多個具體實施來確定是否覆蓋節(jié)點的特定注釋的示例性過程。

圖6示出了可用以實現本主題技術的一個或多個具體實施的電子系統(tǒng)。

具體實施方式

下面示出的具體實施方式旨在作為本主題技術的各種配置的描述并且不旨在表示本主題技術可被實踐的唯一配置。附圖被并入本文并且構成具體實施方式的一部分。具體實施方式包括具體的細節(jié)旨在提供對本主題技術的透徹理解。然而，本主題技術不限于本文闡述的具體細節(jié)，而是可以采用一個或多個其他具體實施來實踐。在一個或多個具體實施中，以框圖形式示出了結構和部件，以便避免使本主題技術的概念模糊。

機器學習已存在多年，但近年來由于大量訓練數據的可用性以及更強大和更高效的計算硬件的進步，機器學習普及率大幅上升。一種常見的方法是利用圖形處理單元(GPU)來訓練深度神經網絡，并且還用于對新的輸入數據后訓練執(zhí)行深度神經網絡。但是，在部署給定的深度神經網絡以便在目標平臺上執(zhí)行時，根據可用的硬件，在GPU(如果可用)上運行某些操作或者在某些情況下逐節(jié)點地在CPU(如果可用)上運行這些操作可能更有效。用于在給定平臺上執(zhí)行深度神經網絡的現有解決方案缺乏在執(zhí)行之前進行此類確定的能力，并且還缺乏在運行時期間基于運行時的可用資源和/或其他因素來動態(tài)地分配在CPU或GPU上執(zhí)行操作的能力。