[發明專利]神經網絡模型的運行方法、可讀介質和電子設備

在審

• 申請號: 202210100000.3
• 申請日: 2022-01-27
• 公開（公告）號: CN114491167A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 韓冥生;余宗橋;王曉雪;趙翼飛
• 申請（專利權）人: 安謀科技（中國）有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F17/16;G06F7/523;G06N3/04
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 肖華

本申請涉及人工智能領域，公開了一種神經網絡模型的運行方法、可讀介質和電子設備。方法包括：在運行神經網絡模型的過程中檢測到第一運算，第一運算包括第一運算部分，第一運算部分包括至少一個非線性運算因子；從第一數據矩陣中，獲取第一運算的第一輸入數據；生成第一輸入數據的第一查表參數；確定索引表中與第一查表參數對應的第一索引值，獲取索引表中與第一索引值對應的第一查表結果，其中第一查表參數、第一索引值、第一查表結果為定點數；基于第一查表結果確定第一運算部分的運算結果。從而電子設備在運行第一運算時，通過線性運算和查表就可以得到第一運算的定點數運算結果，提高了電子設備運行神經網絡模型的速度。

本申請要求于2021年12月31日提交中國專利局、申請號為202111677116.5、申請名稱為“神經網絡模型的運行方法”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。

技術領域

本申請涉及人工智能領域，特別涉及一種神經網絡模型的運行方法、可讀介質和電子設備。

背景技術

隨著人工智能(artificial intelligence，AI)的迅速發展，神經網絡模型在人工智能領域的應用越來越廣泛。為提高神經網絡模型的運行精度，通常需要對神經網絡模型中的算子的輸出結果進行歸一化。例如，在AlexNet網絡中，可以通過局部響應歸一化(Local Response Normalization，LRN)算子對線性整流(Rectified Linear Unit，ReLU)算子的輸出數據進行歸一化。

但是由于LRN算子中包括累加、乘法、除法、求指數冪等運算，而用于運行神經網絡模型的運算單元，例如神經網絡處理器(Neural-Network Processing Unit，NPU)，為定點運算單元，并沒有能夠直接實現LRN算子中的求指數冪、除法等非線性運算的電路，而是通過迭代求解來實現通過LRN算子對ReLU算子的輸出進行歸一化的運算，速度慢且占用NPU的大量硬件資源，降低了電子設備運行神經網絡模型的速度。

發明內容

有鑒于此，本申請實施例提供了神經網絡模型的運行方法、可讀介質和電子設備。

第一方面，本申請實施例提供了一種神經網絡模型的運行方法，應用于電子設備，包括：在運行神經網絡模型的過程中檢測到第一運算，第一運算包括第一運算部分，其中，第一運算部分包括至少一個非線性運算因子；從第一數據矩陣中，獲取第一運算的第一輸入數據；生成第一輸入數據的第一查表參數；確定索引表中與第一查表參數對應的第一索引值，第一索引值對應的浮點數與第一查表參數對應的浮點數數值相同；獲取索引表中與第一索引值對應的第一查表結果，其中，第一查表參數與第一索引值為定點數，并且第一查表結果為預先將第一索引值作為第一運算部分的輸入數據計算得到的定點數結果；基于第一查表結果確定第一運算部分的運算結果。

也即是說，電子設備在運行神經網絡模型中，若檢測到第一運算，例如通過LRN算子對第一輸入數據進行歸一化的運算，可以通過確定出第一輸入數據對應的第一查表參數(例如下文的查表索引值)，基于第一查表參數從預設的索引表(例如下文的查找表)中，獲取第一運算中包括非線性運算因子的第一運算部分(例如下文的查表項)的定點數查表結果，再根據查表結果即可確定第一運算部分的定點數運算結果(例如下文的查表結果)，而無需進行復雜的非線性運算，降低了電子設備運行神經網絡模型時占用的硬件資源，提高了電子設備運行包括非線性因子的第一運算的速度。

在上述第一方面的一種可能實現中，上述生成第一輸入數據的第一查表參數，包括：從至少一個第二數據矩陣中獲取與第一輸入數據對應的至少一個第二輸入數據，并將第一運算部分中，包括第一輸入數據和第二輸入數據的第一子運算的運算結果，作為第一輸入數據的第一查表參數，其中，第一子運算只包括線性運算因子，第二輸入數據在第二數據矩陣中的行和列與第一輸入數據在第一數據矩陣中的行和列相同。