[發明專利]神經網絡量化存儲方法

在審

• 申請號: 202011495066.4
• 申請日: 2020-12-17
• 公開（公告）號: CN112463078A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 宋一平;梁駿;鐘宇清;宋蘊;楊常星
• 申請（專利權）人: 杭州國芯科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱亞冠

本發明公開了神經網絡量化存儲方法。本發明方法首先取得神經網絡需要量化的數據，然后對數據進行高低位分割，判斷判斷高位數據是否等于零：如果為零，則舍去高位數據，僅保留低位數據；如果不為零，則舍去低位數據，僅保留高位數據。如果是無符號數據，在保留數據的頭部或尾部添加標志位，將保留數據和標志位進行存儲；如果是有符號數據，在保留高位的頭部或尾部添加標志位，并在整體數據段前添加符號位，將符號位、標志位和保留數據進行存儲。利用該方法存儲神經網絡數據，表示數據的比特位長度有效縮短，利于嵌入式設備存儲,計算和部署，在相同數據位長的情況下相比于線性量化神經網絡的預測精度更高。

技術領域

本發明屬于人工智能技術領域，尤其是神經網絡技術領域，具體涉及一種神經網絡數據量化存儲方法。

背景技術

深度學習技術目前已經廣泛應用于圖像分類、目標檢測、語音識別以及自然語言處理等領域。然而深度學習并不是一項新技術，其思想早在上世紀50年代就已經誕生了，但是一直受制于算力，直到本世紀初，隨之計算機硬件的發展，深度學習的熱度才逐漸再次升溫。

2012年AlexNet誕生之后才整個深度學習的發展迎來爆發期，目前已經有非常多的經典網絡誕生，其模型預測精度已經逐漸逼近人類的預測精度，甚至在某些領域已經超過了人類的預測精度。但是效果的改進往往與模型的大小有關，更大的模型往往有著更高的精度，隨之帶來的問題是，網絡越來越深，參數越來越多，神經網絡消耗的內存也成為制約神經網絡部署的重要問題。對于圖像任務來說，數據量通常比較巨大，在需要實時預測的場景下，算力依然是一個制約神經網絡性能的因素。在此基礎上，數據的位長越短，對算力的要求越低，于是提出一種有效的神經網絡數據量化存儲方法十分必要，在相同位長的情況下，能夠保留更多的有效信息，目前主要依賴過壓縮或者編碼等方式減小數據量級。量化是目前最常用也是應用最廣泛的手段，量化有著原理簡單，公式少，實現方便，性能穩定，技巧多樣等特點。

量化可以降低表示數據所用的比特數，雖然目前應用十分廣泛，但是直接簡單量化帶來的最普遍的問題是網絡精度的下降，于是專門針對量化的研究也成為了熱點。如何在量化數據的同時保證神經網絡的性能，并且可以更加節約存儲，提出一種滿足要求的的神經網絡量化方法十分必要。

發明內容

本發明的目的就是針對現有技術的不足，提供一種神經網絡量化存儲方法。

本發明方法具體如下：

(1).首先取得神經網絡需要量化的數據，包括權重、偏置、樣本數據；

(2).如果數據d為無符號數據，對長度為L位的數據d進行高低位分割，L＝2^k，取數據前n位作為高位，則后(L-n)位為低位，b為調整參數，b＝0,1,2,…,k；

判斷高位數據d_high是否等于零：如果為零，則截斷數據，舍去高位數據，僅保留低位數據d_low；如果不為零，則截斷數據，舍去低位數據，僅保留高位數據d_high；

i,j∈[0,L-1]；

在保留數據的頭部或尾部添加標志位，將保留數據和標志位進行存儲；

(3).如果數據d為有符號數據，對長度為L的數據d進行高低位分割，L＝2^k，去除數據符號后，將前m位作為高位，則后(L-m-1)位為低位，b為調整參數，b＝0,1,2,…,k；

判斷高位數據d_high是否等于零：如果為零，則截斷數據，舍去高位數據，僅保留低位數據d_low；如果不為零，則截斷數據，舍去低位數據，僅保留高位數據d_high；

i,j∈[0,L-1]；

在保留數據頭部或尾部添加標志位，并在整體數據段前添加符號位，將符號位、標志位和保留數據進行存儲。