[發明專利]基于偽逆學習的稀疏自編碼器快速訓練方法

在審

• 申請號: 201710748527.6
• 申請日: 2017-08-28
• 公開（公告）號: CN107480777A
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 郭平
• 申請（專利權）人: 北京師范大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種人工智能領域里稀疏自編碼器的快速訓練方法，特別涉及一種基于偽逆學習算法的稀疏自編碼器快速訓練方法。

背景技術

目前，以深度學習為代表的人工智能技術中，通常采用的是有監督學習方式，往往需要大量的標注好的數據來訓練深度網絡模型，然而在實際應用中獲取的數據絕大部分屬于無標注數據，如果對大量無標注數據進行人工標注則需要很高的人力和時間成本。因此，采用無監督學習的技術和方法，直接在無標注數據上進行表示學習，充分利用大量的無標注數據是人工智能技術發展的趨勢。自編碼器是一種常用的深度學習基本模型，其基本思想是網絡的輸出與輸入相等，訓練過程中不需要標記數據，可以以無監督的方式直接從原始數據中進行特征學習。自編碼器是一種單隱層的前饋神經網絡模型，由編碼器(encoder)和解碼器(decdoer)構成，編碼器將輸入向量x編碼為隱層特征向量y，通過線性映射和非線性激活函數實現：

y＝f(W_ex+θ).

{W_e,θ}為編碼器的參數集，包括連接權重和矩陣和偏置，f(·)表示隱層神經元的激活函數，通常為非線性或線性分段連續函數。解碼器將隱層特征y重構為輸入空間的向量z：

z＝f_d(W_dy+θ′),

{W_d,θ′}為解碼器的參數集，包括連接權重和矩陣和偏置，f_d(·)為輸出層神經元的激活函數，本發明采用線性函數，同時將偏置參數并入權重矩陣構成增廣矩陣。

訓練自編碼器的過程就是優化輸入信號重構誤差(損失)函數的過程，使得zⁱ＝W(f(W^Txⁱ))≈xⁱ。可以形式化為如下損失函數：

E＝-logp(z|x).

如果x服從高斯分布，則以如下平方誤差和作為損失函數：

上式中N為樣本數。對稀疏自編碼器，通常加上對隱層神經元的約束。在隱單元輸出范圍為[0，1]時，稀疏性可以被簡單地解釋為：如果當神經元的輸出接近于1的時候認為它被激活，而輸出接近于0的時候認為它被抑制，使得神經元大部分的時間都是被抑制的限制則被稱作稀疏性限制。我們使用y_j(xⁱ)來表示在給定輸入為xⁱ情況下，自編碼神經網絡隱神經元j的激活度。并將隱神經元j的平均活躍度(在訓練集上取平均)記為：

稀疏性限制可以理解為使隱神經元的平均激活度特別小，用ρ表示稀疏性參數，通常設ρ為接近于0的較小的值(例如0.05)。為了實現這一限制，需要在原始的神經網絡優化目標函數中加入稀疏性限制這一項，作為一項額外的懲罰因子，通常可以選擇具有如下形式的懲罰因子：

上式中j為隱層中隱單元的個數。對稀疏自編碼神經網絡，總的損失函數可表示為下面的形式：

其中β是控制稀疏性懲罰因子的權重。如果令ρ＝0，則有：

在很小時，稀疏懲罰項中的log函數可以近似為

如果限定隱單元輸出是非負的，令hⁱ＝yⁱ＝f(W_exⁱ)，則上式與稀疏編碼的形式類似：

因此在采用sigmoid或輸出在[0,1]范圍內的激活函數時，總的損失函數里的稀疏懲罰項可以使得學習到數據里的稀疏表示，這等價于要求隱層輸出h是稀疏的。

自編碼器可以被用作構建深度網絡的基本單元。在堆棧自編碼器中，前一層自編碼器的輸出作為后一層自編碼器的輸入。網絡最后一層的輸出可作為原始數據的特征。在特定的學習任務中(例如分類問題)，可以再將輸出的特征作為分類器的輸入，再對分類器以有監督的方式進行訓練。