[發明專利]一種卷積輸入式的嵌套遞歸神經網絡的設計方法

在審

• 申請號: 202010611409.2
• 申請日: 2020-06-30
• 公開（公告）號: CN111832704A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 張萌;曹晗翔;范津安;張倩茹;朱佳蕾
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 向文

本發明公開了一種卷積輸入式的嵌套遞歸神經網絡的設計方法，包括如下步驟：將當前時刻輸入數據和上時刻輸出數據進行數據組合和卷積操作處理；對卷積后的結果進行均等拆分，作為原長短期記憶網絡單元中的各個門控單元；在內層嵌套單元中進行卷積操作作為輸入，再進行和長短期記憶網絡單元相同的門控計算操作，得出內層嵌套單元的輸出；將內層嵌套單元的輸出作為外層單元的記憶單元值，再經由輸出門得到整體單元的最終輸出值。本發明提出了嵌套式的遞歸神經網絡和卷積輸入的結合，既提高了模型對擬合長時間關聯的數據的性能，又提取了特征關系之間的局部關聯，減少了一定的參數量；得較一般的遞歸神經網絡具有更高的準確率和更少的參數。

技術領域

本發明屬于數據處理技術領域，涉及一種遞歸神經網絡單元設計方法，具體涉及一種卷積輸入式的嵌套遞歸神經網絡的設計方法。

背景技術

隨著物聯網時代網絡技術和硬件的發展，用戶與互聯設備數量呈爆炸式增長。2017年，物聯網設備數量首次超越全球人口總數75億，而到2020年，這個數量預計將會增長到300億以上。然而物聯網設備的應用仍然處于初級階段，由于設備的大規模數量和自身結構的簡單特性，依舊面臨著許多的安全隱患。其中最為重要的是來自互聯網的惡意入侵的安全問題。

遞歸神經網絡被廣泛應用于時間序列的預測；對于來自網絡的入侵攻擊而言，攻擊都具有一定的時效性，尤其DDOS攻擊可能持續高達幾分鐘，這就為攻擊數據使用遞歸神經網絡建模提供了事實依據。事實上，基于LSTM(長短期記憶網絡)及其變種的優秀魯棒性和擬合能力，其已經廣泛應用于時間序列預測任務中并取得了遠遠優于傳統機器學習的效果。

隨著遞歸神經網絡(RNN)經典結構長短期記憶網絡(Long Short Term Memory，LSTM)的提出，RNN結構的魯棒性得到提高，更易于訓練。自2012年后深度學習的興起和硬件計算能力的飛速提高，RNN再次成為研究的熱門領域，在入侵檢測領域，基于深度學習的RNN也取得了更多成就。

門機制是最早最經典的研究。相較于基本的的RNN單元，長短期記憶網絡(LSTM),增強了傳統RNN對于長時間步信息的記憶能力，緩和了梯度消失的問題，奠定了RNN大規模應用的基礎。之后簡化的Gated Recurrent Unit(GRU),將長短期記憶網絡的4個門簡化為2個門，大量減少了參數個數，精度幾乎沒有下降，這也為RNN的硬件部署提供了可能。NestedLSTMs構思了一種嵌套式的LSTM結構，將原記憶存儲單元Ct替換為另一個完整的LSTM單元，大大增強了長期記憶的能力。Convolutional LSTM將原LSTM結構中的輸入及門的矩陣運算替換為二維卷積，提高了傳統LSTM對于時空信息的記憶能力，較少了參數個數。Grid LSTM對使用較多的Stacked LSTM結構提出了改進，構思了一種可以定義維度的LSTM結構，可以用于高維度復雜模型的建模。

相關研究人員在RNN時間展開的序列上也做了許多改進。CW-RNN把RNN中每個時間步都連接的隱層改為多組不同遞歸周期的隱層，使得較遠的依賴通過少數幾次較長周期隱層遞歸得到，減小了長依賴信息的學習能力。Dilated RNN提出了一種跳躍連接，能夠自由地和不同的RNN單元結合，減少網絡參數，提高訓練效率。

對于訓練中的優化問題，產生了一些權重初始化方法。1.Unitary-RNN針對RNN的梯度消失和爆炸問題提出了一種參數矩陣的酉矩陣初始化方法，通過特殊的參數化技巧把權重矩陣表達成一個形式上較復雜但計算上很高效的形式，使得參數更新后新的參數矩陣仍為酉矩陣。2.Kanai S[Preventing gradient explosions in gated recurrent units[C]//Advances in Neural Information Processing Systems.2017:435-444]認為RNN的梯度爆炸是由于非線性系統的分歧點引起的，并在某種情形下找到參數迭代的一個穩定點，控制參數在某個區域內更新從而達到防止梯度爆炸的效果。