[發明專利]基于塊張量分解的循環神經網絡稀疏連接方法有效
| 申請號： | 201711290493.7 | 申請日： | 2017-12-08 |
| 公開（公告）號： | CN107798385B | 公開（公告）日： | 2020-03-17 |
| 發明（設計）人： | 徐增林;葉錦棉;李廣西;陳迪 | 申請（專利權）人： | 電子科技大學 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08 |
| 代理公司： | 成都宏順專利代理事務所(普通合伙) 51227 | 代理人： | 周永宏 |
| 地址： | 611731 四川省成*** | 國省代碼： | 四川;51 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 張量 分解 循環 神經網絡 稀疏 連接 方法 | ||
1.基于塊張量分解的循環神經網絡稀疏連接方法，其特征在于，包括：
S1、對網絡的輸入向量x張量化，得到第一張量對記憶向量h張量化，得到第二張量對全連接權重矩陣W張量化，得到第三張量所述輸入向量為3維的彩色圖片；
S2、對第三張量進行張量分解，得到張量分解后的第三張量
S3、用表示新的稀疏連接方式，替換原矩陣乘法W·x為新的張量乘法
S4、采用BPTT算法對循環神經網絡進行訓練；所述步驟S4還包括在反向傳播階段，對核心張量和因子張量需要分別求梯度。
2.根據權利要求1所述的基于塊張量分解的循環神經網絡稀疏連接方法，其特征在于，步驟S3所述用表示新的稀疏連接方式后新的稀疏連接邊數為：
其中，N表示第三張量分解的塊數，d表示維度，Ik表示第n塊分解的第k個因子張量的第一個維度，Jk表示第n塊分解的第k個因子張量的第二個維度，Rk表示第n塊分解的第k個因子張量的第三個維度，Π表示累乘運算。
3.根據權利要求1所述的基于塊張量分解的循環神經網絡稀疏連接方法，其特征在于，步驟S4所述在反向傳播階段，對核心張量和因子張量需要分別求梯度，具體為：
其中，表示第三張量第n塊分解的第k個因子張量，k＝1,2，…d；×k表示兩個張量沿著第k維進行乘積；×1,2,…,d表示兩張量沿著多個維度進行乘積；表示第三張量第n塊分解的核心張量，L表示模型的Loss；表示輸入到隱層的線性變換結果。
4.根據權利要求3所述的基于塊張量分解的循環神經網絡稀疏連接方法，其特征在于，具體表達式為：
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于電子科技大學，未經電子科技大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201711290493.7/1.html，轉載請聲明來源鉆瓜專利網。
