[發明專利]基于偽逆學習的稀疏自編碼器快速訓練方法

在審

• 申請號: 201710748527.6
• 申請日: 2017-08-28
• 公開（公告）號: CN107480777A
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 郭平
• 申請（專利權）人: 北京師范大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種快速訓練稀疏自編碼神經網絡的方法，其特征在于：采用偽逆學習算法訓練稀疏自編碼器。

2.根據權利要求1所述的一種快速訓練稀疏自編碼器神經網絡的方法，其特征在于，所采用的偽逆學習算法的基本思想是找到一種近似正交投影算子，并利用非線性激活函數使得隱層神經元輸出趨向稀疏，然后通過計算偽逆解近似求網絡的輸出權重。

3.根據權利要求1或2所述的一種快速訓練稀疏自編碼器神經網絡的方法，其特征在于，訓練自編碼器的過程中通過奇異值分解對輸入矩陣進行低秩表示，采用緊湊奇異值分解算法提高計算速度，通過截斷奇異值分解計算編碼器權重。本發明中將自編碼器的隱層神經元個數設置為大于或等于原始輸入數據的維度，小于輸入數據的樣本個數。自編碼器使用輸入矩陣的截斷偽逆矩陣作為編碼器的初始連接權重矩陣，將原始數據經過有偏ReLU激活函數抑制隱層神經元的激活度，提高了映射到高維的隱層特征空間數據的稀疏性。

4.根據權利要求1或2所述的一種快速訓練稀疏自編碼器神經網絡的方法，其特征在于，使用偽逆學習算法訓練自編碼器的解碼器，具體過程為：以輸入數據作為網絡的期望輸出，通過偽逆學習算法直接計算網絡的輸出連接權重，并將該權重作為自編碼器的解碼器連接權重；其中，通過正交投影法計算隱層神經元輸出矩陣的偽逆，并通過引入正則化項防止病態問題解的不穩定性。

5.根據權利要求1或4所述的一種快速訓練稀疏自編碼器神經網絡的方法，其特征在于，可通過調節正則化參數控制重構誤差的大小。

6.根據權利要求1或2所述的一種稀疏自編碼器神經網絡的方法，其特征在于，可通過數據增強技術進一步降低隱層神經元的平均激活度。