[發明專利]機器學習模型在運行時期間的可變參數

在審

• 申請號: 202010451666.4
• 申請日: 2020-05-25
• 公開（公告）號: CN112016668A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: C·M·福雷特;姚笑終;S·哈雷哈拉蘇巴曼尼安
• 申請（專利權）人: 蘋果公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00;G06F8/41
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 馬明月

本公開涉及機器學習模型在運行時期間的可變參數。本主題技術接收對應于神經網絡(NN)模型的代碼和用于該NN模型的一組權重。本主題技術確定該NN模型中的一組可變層。本主題技術確定用于將第二組權重映射至用于該NN模型的該組權重的信息。本主題技術生成對應于該組可變層的元數據，以及用于將該第二組權重映射至用于該NN模型的該一組權重的該信息，其中生成的元數據使得在執行該NN模型期間能夠更新該組可變層。

相關申請的交叉引用

本專利申請要求2019年5月31日提交的名稱為“MUTABLE PARAMETERS FORMACHINE LEARNING MODELS DURING RUNTIME”的美國臨時專利申請序列號62/855,898的權益，該臨時專利申請據此全文以引用方式并入本文并且構成本美國實用新型專利申請的部分以用于所有目的。

技術領域

本說明書整體涉及提供在目標平臺上執行的神經網絡模型。

背景技術

軟件工程師和科學家一直在使用計算機硬件跨不同行業應用改進機器學習，這些行業包括圖像分類、視頻分析、語音識別和自然語言處理等。值得注意的是，神經網絡正被越來越頻繁地使用，以創建能夠基于針對大量數據的訓練執行不同計算任務的系統。

附圖說明

本主題技術的一些特征在所附權利要求書中被列出。然而，出于解釋的目的，在以下附圖中闡述了本主題技術的若干實施方案。

圖1示出了根據一個或多個具體實施的示例網絡環境。

圖2示出了根據一個或多個具體實施的在電子設備上實現的示例軟件棧，該軟件棧用于在本地編譯源代碼，為神經網絡模型的可變參數生成元數據，并在該電子設備上執行的應用程序中加載模型。

圖3示出了根據一個或多個具體實施的由用戶或應用程序提供的可變權重文件的示例結構，該文件用于更新神經網絡模型的可變權重。

圖4示出了根據一個或多個具體實施的由編譯器生成的元數據節區的示例結構，該元數據節區將被包括作為神經網絡模型的編譯二進制文件的一部分，以促進更新神經網絡模型在運行時期間的可變權重。

圖5示出了根據一個或多個具體實施的示例過程的流程圖，該過程用于為神經網絡生成元數據以用來在運行時期間更新參數。

圖6示出了根據一個或多個具體實施的示例過程的流程圖，該過程用于使用圖5中描述的生成的元數據來編譯神經網絡。

圖7示出了根據一個或多個具體實施的示例過程700的流程圖，該過程用于更新當前正在執行的神經網絡模型的權重。

圖8示出了可用以實現本主題技術的一個或多個具體實施的電子系統。

具體實施方式

下面列出的具體實施方式旨在作為本主題技術的各種配置的描述，并且不旨在表示本主題技術可被實踐的唯一配置。附圖被并入本文并且構成具體實施方式的一部分。具體實施方式包括具體的細節旨在提供對本主題技術的透徹理解。然而，本主題技術不限于本文闡述的具體細節，而是可以采用一個或多個其他具體實施來實踐。在一個或多個具體實施中，以框圖形式示出了結構和部件，以便避免使本主題技術的概念模糊。