[發明專利]一種面向長短期記憶網絡的權值和激活值的量化方法

在審

• 申請號: 202010774421.5
• 申請日: 2020-08-04
• 公開（公告）號: CN112116061A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 楊晨;豐貴鵬;王逸洲;耿莉
• 申請（專利權）人: 西安交通大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 閔岳峰

本發明公開了一種面向長短期記憶網絡的權值和激活值的量化方法，包括步驟：1)收集長短期記憶網絡的權重值和激活值數集；2)確定對應的目標量化范圍，開始閾值遍歷循環，根據計算出的不同閾值情況下的縮放因子和飽和值，將權重值和激活值進行縮放或置為飽和值；3)遍歷完成后，分別計算權重值和激活值的初始數集與映射后數集的KL散度，最終分別輸出正、負數方向截斷閾值以及最小的KL散度值。本發明實現了將高精度浮點數訓練完成的長短期記憶網絡轉化為定點數網絡，創新性地設計了針對長短期記憶網絡的權重值和激活值的量化結構，在保證算法硬件實施精度的同時，減小了硬件開銷，提高了運行速度。

技術領域

本發明屬于循環神經網絡量化領域，具體涉及一種面向長短期記憶網絡的權值和激活值的量化方法。

背景技術

隨著圖形處理器，通用中央處理器的計算能力不斷提升，緩解了人工神經網絡對運算復雜度的要求。2012年以后，基于神經網絡的人工智能算法不斷發展，廣泛應用于模式識別、語音處理和圖像處理等多個領域。然而，硬件性能的發展始終不能滿足算法的進化。2016年提出的SSD網絡引入了多達500億次的計算，需要在大型工作站中運行。然而，桌面處理器和移動端處理器難以承受如此大的計算量，這樣極大地限制了神經網絡的應用場景，包括各種終端應用如虛擬現實技術和增強現實技術。解決該問題有兩種方案，其中一個是針對神經網路中的冗余信息進行壓縮，例如將浮點全精度的神經網絡進行量化，通過壓縮數據位寬，實現對網絡的參數量的壓縮。當前，大多數量化方案針對于神經網絡中的卷積神經網絡，因為其網絡參數多，計算復雜度高，并沒有針對循環神經網絡的量化方案，本發明針對循環神經網絡中廣泛使用的長短期記憶網絡(LSTM)，設計了一套適用于小規模LSTM網絡的量化方案，可以在保證網絡精度的同時，縮減硬件設計的開銷，使LSTM網絡低成本地應用在移動端設備中，促進基于神經網絡的人工智能算法的發展。

發明內容

本發明的目的在于提供一種面向長短期記憶網絡的權值和激活值的量化方法，將高精度浮點數訓練完成的長短期記憶網絡轉化為定點數網絡，包含權重值和激活值的量化。定點數網絡具有于浮點數網絡相近的網絡精度，并可以低成本、高速度地應用于終端系統中。

本發明采用如下技術方案來實現的：

一種面向長短期記憶網絡的權值和激活值的量化方法，包括以下步驟：

1)收集長短期記憶網絡的權重值數集，并確定權重值的目標量化范圍，開始閾值遍歷循環，根據計算出的不同閾值情況下的縮放因子和飽和值，將權重值進行縮放或置為飽和值；遍歷完成后，計算權重值的初始數集與映射后數集的KL散度，最終分別輸出正、負數方向截斷閾值以及最小的KL散度值；

2)收集長短期記憶網絡的激活值數集，并確定激活值的初始量化范圍和目標量化范圍，開始閾值遍歷循環，根據計算出的不同閾值情況下的縮放因子和飽和值，將激活值進行縮放或置為飽和值；遍歷完成后，計算激活值的初始數集與映射后數集的KL散度，最終分別輸出正、負數方向截斷閾值以及最小的KL散度值。

本發明進一步的改進在于，步驟1)的具體實現方法如下：

101)長短期記憶網絡的權重值LSTM網絡中的循環參數或者輸入參數，權重值數集大小較小而且稀疏，在100-4500；

102)對于阻塞序列的LSTM網絡的輸入參數，首先搜索權重值的合適目標量化范圍num，num一共選取2^N個值，N＝1～7采用特定量化算法計算后，收集每個num下最優量化方案的KL散度，這里輸入參數的量化選擇為INT3，即num等于8；而循環參數比輸入參數數據量大，因而這里循環參數的量化選擇為INT4，即num等于16；