[發明專利]基于塊張量分解的循環神經網絡稀疏連接方法

有效

• 申請號: 201711290493.7
• 申請日: 2017-12-08
• 公開（公告）號: CN107798385B
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 徐增林;葉錦棉;李廣西;陳迪
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 成都宏順專利代理事務所(普通合伙) 51227
• 代理人: 周永宏

本發明公開一種基于塊張量分解的循環神經網絡稀疏連接方法，應用于深度學習神經網絡結構優化領域，解決現有的方法未能同時基于輸入數據的高維事實和全連接本身的冗余特性進行分析和優化，從而不能同時達到加快訓練速度和維持或提高模型精度的問題；本發明的方法考慮到深度網絡中全連接層的稀疏性，引入了張量分解思想，提升了網絡參數共享程度，并利用BPTT進行模型訓練，適應于目前深度網絡絕大部分的應用場景；相比于已有的全連接方式，本發明方法在訓練速度，收斂精度上有較大的提升。

技術領域

本發明屬于深度學習神經網絡結構優化領域，特別涉及一種基于塊張量分解的循環神經網絡稀疏連接方法的設計技術。

背景技術

循環神經網絡(RNN)已被廣泛應用于時間序列信息處理領域，具體應用如語音識別，文本翻譯，視頻分類等。在傳統的神經網絡模型中，數據是從輸入層到隱含層再到輸出層流動，層與層之間全連接，每層之間的節點無連接。但是這種神經網絡無法捕捉時間序列信息。在RNN網絡中，會對時間序列中的前序信息進行記憶并應用于當前輸出的計算中，即隱藏層之間的節點有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。

然而現實世界中輸入數據通常是高維數據，如視頻分類中每一個輸入數據是一幀3維的彩色圖片。傳統的RNN將輸入數據展開為一個向量，徹底丟棄了數據本身可能蘊藏的高維信息。此外，基于向量輸入RNN網絡假設了輸入向量中每個元素是線性獨立的，因此需要一個全連接層用于將輸入向量映射到隱層向量空間，極大增加了網絡訓練的難度。在某些網絡結構中，該全連接層的參數量可能占據了整體參數量的90％以上。

目前已有一些方法對該全連接層進行裁剪和優化。一類方法是通過數值分析的方式，如聚類分析，從已訓練的參數本身入手，對參數進行分析，裁剪相似的參數。但是該方法由于未改變全連接權重矩陣的維度，因此未能減少訓練和預測的時間和難度。一類方法通過分析BPTT(循環神經網絡(RNN)反向傳播算法)算法的訓練過程對網絡結構進行裁剪，如GRU(Gated Recurrent Unit，是RNN的一個變種，譯為：門控循環單元)基于誤差反向傳播時僅改變誤差項的權重，將廣泛使用的LSTM(Long Short-Term Memory，是RNN的一個變種，譯為：長短期記憶網絡)網絡結構從4個控制門降低到3個。另一類方法是基于低秩性質的觀察，如用奇異值分解(SVD)對全連接權重矩陣進行低秩分解。然而基于矩陣的低秩方法未能從輸入數據中提取足夠空間信息，因為往往帶來較嚴重的精度損失。

總體而言，現有的方法都未能同時基于輸入數據的高維事實和全連接本身的冗余特性進行分析和優化，因此未能同時達到加快訓練速度和維持或提高模型精度的目的。

發明內容

為解決現有的循環神經網絡結構忽略了輸入數據的高維事實和全連接的冗余特性的問題，本發明提出了一種基于塊張量分解的循環神經網絡稀疏連接方法，同時基于輸入數據的高維事實和全連接本身的冗余特性進行分析和優化，相比現有技術本發明收斂精度上有較大的提升。

本發明采用的技術方案為：基于塊張量分解的循環神經網絡稀疏連接方法，包括：

S1、對網絡的輸入向量x張量化，得到第一張量對記憶向量h張量化，得到第二張量對全連接權重矩陣W張量化，得到第三張量

S2、對第三張量進行張量分解，得到張量分解后的第三張量

S3、用表示新的稀疏連接方式，替換原矩陣乘法W·x為新的張量乘法

S4、采用BPTT算法對循環神經網絡進行訓練。

進一步地，步驟S3所述用表示新的稀疏連接方式后新的稀疏連接邊數為：