[發明專利]神經網絡模型的運行方法、可讀介質和電子設備

在審

• 申請號: 202210141278.5
• 申請日: 2022-02-16
• 公開（公告）號: CN114492779A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 韓冥生;余宗橋;魯若荻
• 申請（專利權）人: 安謀科技（中國）有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F16/22;G06F7/499;G06F7/483
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 肖華

本申請涉及人工智能領域，公開了一種神經網絡模型的運行方法、可讀介質和電子設備。該方法應用于電子設備，包括：檢測到第一神經網絡模型，第一神經網絡模型為對稱量化的神經網絡模型，并且第一神經網絡模型中包括第一神經網絡模型的各算子的對稱量化參數；將各算子的對稱量化參數轉換為非對稱量化參數；利用各算子的非對稱量化參數，調用預設的非對稱量化的算子的運算邏輯，得到第一神經網絡模型的推理結果。如此，只能運行非對稱量化的神經網絡模型的電子設備，可以調用預設的非對稱量化的算子的運算邏輯來實現對稱量化的神經網絡模型的功能，增加了電子設備能夠運行的神經網絡模型的類型。

技術領域

本申請涉及人工智能領域，特別涉及一種神經網絡模型的運行方法、可讀介質和電子設備。

背景技術

隨著人工智能(artificial intelligence，AI)的迅速發展，神經網絡模型在人工智能領域的應用越來越廣泛。由于運行神經網絡模型的運算單元，例如神經網絡處理器(Neural-Network Processing Unit，NPU)，通常為定點運算單元，為提高神經網絡模型的運行速度，通常將神經網絡模型的各算子進行量化，得到定點運算的神經網絡模型，再由電子設備來運行。對神經網絡模型的各算子的量化包括非對稱量化或對稱量化，但是，為了節省開發、制造成本，部分NPU中只預設有針對非對稱量化的算子的運算邏輯，該類NPU只能運行非對稱量化的神經網絡模型，而無法運行對稱量化的神經網絡模型。

發明內容

有鑒于此，本申請實施例提供了神經網絡模型的運行方法、可讀介質和電子設備。電子設備通過將對稱量化的神經網絡模型的對稱量化參數轉換為非對稱量化參數，即可根據得到的非對稱量化參數調用預設的非對稱量化的算子的運算邏輯來實現對稱量化的神經網絡模型的功能，增加了電子設備能夠運行的神經網絡模型的類型，提高了電子設備的NPU的通用性。

第一方面，本申請實施例提供了一種神經網絡模型的運行方法，應用于電子設備，該方法包括：檢測到第一神經網絡模型，第一神經網絡模型為對稱量化的神經網絡模型，并且第一神經網絡模型中包括第一神經網絡模型的各算子的對稱量化參數；將各算子的對稱量化參數轉換為非對稱量化參數；利用各算子的非對稱量化參數，調用預設的非對稱量化的算子的運算邏輯，得到第一神經網絡模型的推理結果。

通過本申請實施例提供的方法，若電子設備中用于運行第一神經網絡模型的處理器(例如NPU)只能調用非對稱量化的算子的運算邏輯來實現神經網絡模型的推理，則可以通過將第一神經網絡模型各算子的對稱量化參數轉換為非對稱量化參數，并通過得到的非對稱量化參數來調用非對稱量化的算子的運算邏輯，來對第一神經網絡模型進行推理，得到第一神經網絡模型的推理結果。如此，增加了電子設備能夠運行的神經網絡模型的類型，提高了電子設備的NPU的通用性。此外，由于過程中無需先將對稱量化的神經網絡模型轉換為浮點型的神經網絡模型，再轉換為非對稱量化的神經網絡模型，提高了神經網絡模型的部署速度。

在上述第一方面的一種可能實現中，上述電子設備包括第一處理器，第一處理器能夠對非對稱量化的神經網絡模型進行推理，不能對對稱量化的神經網絡模型進行推理；并且由第一處理器運行第一神經網絡模型。

也即是說，電子設備的第一處理器只能夠調用非對稱量化的算子的運算邏輯來對神經網絡模型進行推理，通過本申請實施例提供的方法，第一處理器可以通過將第一神經網絡模型的對稱量化參數轉換為非對稱量化參數，并基于得到的非對稱量化參數調用非對稱量化的算子的運算邏輯來實現第一神經網絡模型的功能，增加了第一處理器能夠運行的神經網絡模型的類型，提高了第一處理器的通用性。

在上述第一方面的一種可能實現中，上述對稱量化參數包括以下參數中的至少一種：輸入數據的對稱量化縮放系數、輸出數據的對稱量化縮放系數、常量數據的對稱量化參數，其中常量數據的對稱量化參數包括對稱量化常量數據、對稱量化常量數據的對稱量化縮放系數。