[發(fā)明專利]一種獨立化長短期記憶網(wǎng)絡模型的構(gòu)建方法

在審

• 申請?zhí)枺?/td>: 201810583664.3
• 申請日: 2018-06-07
• 公開（公告）號: CN109086864A
• 公開（公告）日: 2018-12-25
• 發(fā)明（設計）人: 莊連生;李厚強;唐明宇;楊健
• 申請（專利權(quán)）人: 中國科學技術(shù)大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 李坤

1.一種獨立化長短期記憶網(wǎng)絡模型的構(gòu)建方法，包括：

步驟S101：初始化獨立化長短期記憶網(wǎng)絡模型的參數(shù)；

步驟S201：對獨立化長短期記憶網(wǎng)絡模型進行更新；

步驟S301：利用梯度后向傳播優(yōu)化獨立化長短期記憶網(wǎng)絡模型。

2.如權(quán)利要求1所述的構(gòu)建方法，所述步驟S201包括：

子步驟S201a：將時間序列輸入獨立化長短期記憶網(wǎng)絡模型；

子步驟S201b：根據(jù)時間序列和記憶模塊更新輸入門；

子步驟S201c：根據(jù)時間序列和記憶模塊更新遺忘門；

子步驟S201d：更新記憶模塊；

子步驟S201e：根據(jù)時間序列和記憶模塊更新輸出門；

子步驟S201f：更新輸出。

3.如權(quán)利要求1所述的構(gòu)建方法，所述更新輸入門的表達式為：

其中，i_t表示時間步t的輸入門；σ表示飽和的激活函數(shù)；表示向量間的元素對應乘法；x_t表示時間序列中的第t個輸入向量；c_t-1表示時間步t-1的記憶模塊；W_xi表示輸入向量與輸入門之間的參數(shù)矩陣；W_ci表示記憶模塊與輸入門之間的參數(shù)矩陣。

4.如權(quán)利要求1所述的構(gòu)建方法，所述更新遺忘門的表達式為：

其中，f_t表示時間步t的遺忘門；W_xf表示輸入向量與遺忘門之間的參數(shù)矩陣；W_cf表示記憶模塊與遺忘門之間的參數(shù)矩陣；σ表示飽和的激活函數(shù)；表示向量間的元素對應乘法；x_t表示時間序列中的第t個輸入向量；c_t-1表示時間步t-1的記憶模塊。

5.如權(quán)利要求1所述的構(gòu)建方法，所述更新記憶模塊的表達式為：

其中，c_t表示時間步t的記憶模塊；f_t表示時間步t的遺忘門；表示向量間的元素對應乘法；c_t-1表示時間步t-1的記憶模塊；i_t表示時間步t的輸入門；W_xc表示輸入向量與記憶模塊之間的參數(shù)矩陣；x_t表示時間序列中的第t個輸入向量。

6.如權(quán)利要求1所述的構(gòu)建方法，所述更新輸出門的表達式為：

o_t＝σ(W_xox_t+W_coc_t)

其中，o_t表示時間步t的輸出門；σ表示飽和的激活函數(shù)；W_xo表示輸入向量與輸出門之間的參數(shù)矩陣；x_t表示時間序列中的第t個輸入向量；W_co表示記憶模塊與輸出門之間的參數(shù)矩陣；c_t表示時間步t的記憶模塊。

7.如權(quán)利要求1所述的構(gòu)建方法，所述更新輸出的表達式為：

其中，h_t表示時間步t的輸出向量；o_t表示時間步t的輸出門；c_t表示時間步t的記憶模塊。

8.如權(quán)利要求1所述的構(gòu)建方法，所述步驟S301包括：

計算最終的輸出向量與期望值的誤差，定義一個損失函數(shù)，利用梯度后向傳播優(yōu)化參數(shù)，直至損失函數(shù)足夠小，獲得獨立化長短期記憶網(wǎng)絡模型。