[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)模型的稀疏化后向傳播訓(xùn)練方法

在審

• 申請?zhí)枺?/td>: 201710453252.3
• 申請日: 2017-06-15
• 公開（公告）號: CN107273975A
• 公開（公告）日: 2017-10-20
• 發(fā)明（設(shè)計）人: 孫栩;任宣丞;馬樹銘
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京萬象新悅知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11360
• 代理人: 黃鳳茹

1.一種神經(jīng)網(wǎng)絡(luò)模型的稀疏化后向傳播訓(xùn)練方法，在后向傳播過程中，通過基于K大值的稀疏化處理，減少更新與實例相關(guān)度低的信息，提高深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度和訓(xùn)練效果；包括如下步驟：

1)在前向傳播的過程中，前向傳播的神經(jīng)網(wǎng)絡(luò)模型的每一層接受上層的輸入向量x；通過線性變換輸出向量y，通過非線性變換輸出向量z，并作為下一層的輸入；最后一層的輸出作為整個網(wǎng)絡(luò)模型的輸出結(jié)果；

2)在后向傳播過程中，神經(jīng)網(wǎng)絡(luò)模型每一層的后向傳播利用上一層的輸出梯度(1≤i≤n,n為向量維度)作為輸入，首先對輸出梯度進行K大值稀疏化處理，利用稀疏化處理后的向量進行梯度計算，得到參數(shù)的稀疏化梯度；所述參數(shù)的稀疏化梯度包括參數(shù)矩陣W的稀疏化梯度和輸入向量x的稀疏化梯度；當神經(jīng)網(wǎng)絡(luò)有多層時，本層的輸入向量x即為下層的輸出向量，輸入向量x的梯度可作為下一層的輸出結(jié)果梯度傳遞下去；

3)根據(jù)2)中后向傳播求得的稀疏化梯度，對神經(jīng)網(wǎng)絡(luò)的參數(shù)進行更新；從而實現(xiàn)對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練。

2.如權(quán)利要求1所述神經(jīng)網(wǎng)絡(luò)模型的稀疏化后向傳播訓(xùn)練方法，其特征是，所述神經(jīng)網(wǎng)絡(luò)模型可以是所有采用了標準后向傳播的神經(jīng)網(wǎng)絡(luò)模型。

3.如權(quán)利要求1所述神經(jīng)網(wǎng)絡(luò)模型的稀疏化后向傳播訓(xùn)練方法，其特征是，所述神經(jīng)網(wǎng)絡(luò)模型是前饋神經(jīng)網(wǎng)絡(luò)(MLP)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)或長短時記憶網(wǎng)絡(luò)(LSTM)。

4.如權(quán)利要求1所述神經(jīng)網(wǎng)絡(luò)模型的稀疏化后向傳播訓(xùn)練方法，其特征是，步驟2)具體通過式1對輸出梯度的絕對值做稀疏化處理：

其中，topk代表一個K大值稀疏化操作，即保留輸入向量的所有維度的絕對值中前k大的值，k的大小小于向量z的維度n，剩余的值全部為0；

利用經(jīng)式1進行稀疏化處理后的向量z’計算參數(shù)矩陣W的梯度，計算公式為式2：

利用經(jīng)式1進行稀疏化處理后的向量z’計算輸入向量x的梯度，計算公式為式3：

其中，{t₁,t₂,…,t_k}(1≤k≤n)代表的所有維度的絕對值中前k大的值的下標。

5.如權(quán)利要求1所述神經(jīng)網(wǎng)絡(luò)模型的稀疏化后向傳播訓(xùn)練方法，其特征是，步驟3)中更新方法適用于所有采用了標準后向傳播的訓(xùn)練算法。

6.如權(quán)利要求1所述神經(jīng)網(wǎng)絡(luò)模型的稀疏化后向傳播訓(xùn)練方法，其特征是，步驟3)中更新方法適用于亞當(Adam)訓(xùn)練算法、自適應(yīng)次梯度(Adagrad)訓(xùn)練算法或隨機梯度下降算法(SGD)。