[發明專利]一種靜態策略定點化訓練方法及裝置

有效

• 申請號: 201710629211.5
• 申請日: 2017-07-28
• 公開（公告）號: CN107679618B
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 李鑫;孟通
• 申請（專利權）人: 賽靈思電子科技（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G10L15/16
• 代理公司: 北京卓孚律師事務所 11821
• 代理人: 任宇

一種靜態策略定點化訓練方法及裝置。本申請公開一種用于深度神經網絡的基于靜態定點參數的定點訓練方法及裝置。更具體地，針對深度神經網絡(例如，LSTM神經網絡)的計算結構，提出一種相應的定點訓練方法，在神經網絡的重訓過程中，使用定點的方式進行前向計算，在若干訓練周期之內，將網絡精度恢復到浮點計算的水平。

發明領域

本申請涉及一種用于深度神經網絡的定點訓練方法及裝置。更具體地，本申請涉及一種用于LSTM神經網絡的基于靜態定點參數的定點訓練方法及裝置。

背景技術

人工神經網絡

人工神經網絡(Artificial Neural Networks,ANNs)，又稱神經網絡(NNs)，是一種模仿動物神經網絡的行為特征，進行分布式并行信息處理的數學計算模型。近年來，神經網絡得到快速發展，被廣泛應用于諸多領域，如圖像識別、語音識別、自然語言處理、基因表達、內容推送等等。

在神經網絡模型，存在大量彼此連接的節點(也稱“神經元”)。每個神經元，通過某種特定的輸出函數(也稱“激活函數”(Activation Function))計算處理來自其它相鄰神經元的加權輸入值，并且神經元之間的信息傳遞強度用“權值”來定義。算法通過自我學習，調整該權值。

早期的神經網絡只有輸入和輸出層兩層，無法處理復雜的邏輯，限制了其實用性。

如圖1所示，深度神經網絡(Deep Neural Network,DNNs)通過在輸入和輸出層之間添加隱藏的中間層，有效提升了網絡在處理復雜問題時的表現。

為了適應不同的應用場景，深度神經網絡進而衍生出多種不同的結構。例如，循環神經網絡(Recurrent Neural Networks,RNNs)是一種常用的深度神經網絡模型。不同于傳統前向神經網絡(Feed-forward Neural Networks)，循環神經網絡本身具有記憶性，神經元既可以從上一層神經元獲取信息，又可以從自身所在的隱層獲取信息，這使其能夠廣泛應用于與時序相關的問題處理上。

深度神經網絡的應用包括“訓練”(Training)、“推斷”(Inference)兩個過程。訓練神經網絡旨在提升網絡的學習能力。輸入特征通過前向傳播過程計算預測結果，該計算結果與標準值比較后將殘差通過反向傳播回傳，并將比較結果用于更新網絡權值參數，從而達到修正網絡的目的。神經網絡訓練完成后，可以將訓練好的神經網絡應用到實際場景中，即推斷，在該過程中，根據輸入特征通過前向傳播過程計算得到合理的預測結果。

通過近幾年的迅速發展，神經網絡的規模不斷增長，已公開的比較先進的神經網絡可達數百層、數億個連接，屬于計算和訪存密集型應用。在神經網絡逐漸變大的情況下，神經網絡模型的壓縮變得極為重要。此外，由于壓縮后的神經網絡模型的精度可能下降，因此，需要對壓縮的神經網絡進行重訓(Fine tuning)，以使精度恢復至所需水平。

深度神經網絡的壓縮分為網絡稀疏化和低比特量化兩部分。

一方面，深度神經網絡中，神經元的連接關系在數學上可以表示為一系列矩陣。經過訓練后的網絡雖然預測準確，但其矩陣都是稠密的，即“矩陣中充滿了非零元素”，從而導致大量的存儲和計算資源被消耗。研究表明，在通過訓練得到的神經網絡模型矩陣中，僅有部分權值較大的元素代表著重要連接，而其他權值較小的元素可以通過剪枝(Pruning)操作被移除(置為零)。通過將神經網絡中的稠密矩陣稀疏化，能夠有效的降低存儲量、減少計算量。

另一方面，深度神經網絡中的權重在傳統硬件平臺GPU上的運算均使用32比特(bit)浮點數表示，這樣的多比特參數與高精度導致了大量的存儲和計算資源被消耗。研究表明，通過低比特的位寬量化矩陣權重，并以定點數替代浮點數進行前向計算，可以有效降低網絡的計算與存儲資源消耗。

語音識別Speech Recognition