[發明專利]多神經網絡模型載入方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110036325.5
• 申請日: 2021-01-12
• 公開（公告）號: CN114764609A
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 孫國欽;郭錦斌
• 申請（專利權）人: 富泰華工業（深圳）有限公司;鴻海精密工業股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;H03M7/30
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 常云敏

本發明涉及一種多神經網絡模型載入方法、裝置、電子設備及存儲介質。所述方法包括：編譯至少兩個神經網絡模型，計算所述至少兩個神經網絡模型之間的差異，并通過預設的壓縮方法生成模型文件；在神經網絡加速器中輸入所述模型文件，解碼并載入經過編譯的神經網絡模型；切換神經網絡模型時，根據所述差異修改神經網絡基礎模型的參數。本發明中，通過記錄多個模型之間的差異并對模型與記錄差異的文件進行編碼，從而可以壓縮神經網絡模型的體積，以及實現在神經網絡加速器中載入多個神經網絡模型。

技術領域

本發明涉及人工智能領域，具體涉及一種多神經網絡模型載入方法、裝置、電子設備及存儲介質。

背景技術

人工智能在模型訓練中需要大量的計算，但受限于其算法和計算本身的特性，被廣泛使用的傳統計算芯片無法滿足這些需求，因此，需要為神經網絡算法打造專用的芯片，也就是神經網絡加速器。然而，在神經網絡加速器中載入模型時，現有的技術可以壓縮神經網絡模型的體積，以縮短載入時間，卻無法載入多個神經網絡模型。

發明內容

鑒于以上內容，有必要提出一種多神經網絡模型載入方法、裝置、電子設備及存儲介質以接近在神經網絡加速器無法載入多個神經網絡模型以及在多個神經網絡模型之間進行切換的技術問題。

本申請的第一方面提供多神經網絡模型載入方法，所述方法包括：

編譯至少兩個神經網絡模型，并生成與所述至少兩個神經網絡模型對應的至少兩個二進制模型文件；

將所述至少兩個二進制模型文件中的一個二進制模型文件作為基礎模型，使用預設的差異計算方法計算并記錄所述至少兩個二進制模型文件中除所述基礎模型外的每個二進制模型文件與所述基礎模型之間的差異，生成差異記錄文件；

使用預設的壓縮方法壓縮所述基礎模型與所述差異記錄文件，并生成輸入文件；

在神經網絡加速器中輸入所述輸入文件，解壓縮所述輸入文件得到所述基礎模型與所述差異記錄文件，并在神經網絡加速器中載入所述基礎模型與所述差異記錄文件；

優選地，所述方法還包括：

根據所述差異記錄文件修改所述基礎模型的參數，以在神經網絡加速器中將當前的基礎模型切換至與所述修改的參數對應的神經網絡模型。

優選地，所述至少兩個二進制模型文件符合神經網絡加速器格式要求。

優選地，所述使用預設的差異計算方法計算并記錄所述至少兩個二進制模型文件中除所述基礎模型外的每個二進制模型文件與所述基礎模型之間的差異包括：

以二進制格式比較所述至少兩個二進制模型文件中除所述基礎模型外的每個所述二進制文件與所述基礎模型，記錄每個所述神經網絡模型的隱藏層連接和權重與所述基礎模型的隱藏層連接和權重之間的差異。

優選地，所述使用預設的壓縮方法壓縮所述基礎模型與所述差異記錄文件，并生成輸入文件包括：

使用無損編碼壓縮方法壓縮所述基礎模型與所述差異記錄文件，并生成輸入文件。

優選地，所述解壓縮所述輸入文件得到所述基礎模型與所述差異記錄文件包括：

使用與所述無損編碼壓縮方法對應的解碼方法解壓縮所述輸入文件得到所述基礎模型與所述差異記錄文件。

優選地，所述根據差異記錄文件修改所述基礎模型的參數包括：

根據所述差異記錄文件修改所述基礎模型的權重和/或隱藏層連接。

本申請的第二方面提供一種多神經網絡模型載入裝置，所述裝置包括：

編譯模塊，用于編譯至少兩個神經網絡模型，并生成與所述至少兩個神經網絡模型對應的至少兩個二進制模型文件；