[發(fā)明專利]一種基于分區(qū)域梯度更新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中間值存儲(chǔ)壓縮方法和裝置在審
| 申請(qǐng)?zhí)枺?/td> | 202010317520.0 | 申請(qǐng)日： | 2020-04-21 |
| 公開（公告）號(hào)： | CN111783977A | 公開（公告）日： | 2020-10-16 |
| 發(fā)明（設(shè)計(jì)）人： | 楊侃;袁之航;孫廣宇;汪小林;羅英偉 | 申請(qǐng)（專利權(quán)）人： | 北京大學(xué);鵬城實(shí)驗(yàn)室 |
| 主分類號(hào)： | G06N3/08 | 分類號(hào)： | G06N3/08;G06N3/04 |
| 代理公司： | 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200 | 代理人： | 邱曉鋒 |
| 地址： | 100871*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 區(qū)域 梯度 更新 神經(jīng)網(wǎng)絡(luò) 訓(xùn)練 過程 中間 存儲(chǔ) 壓縮 方法 裝置 | ||
1.一種基于分區(qū)域梯度更新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中間值存儲(chǔ)壓縮方法，其特征在于，包括以下步驟：
在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的前向傳播過程中，將特定區(qū)域的輸入激活值保存在內(nèi)存中；
在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的反向傳播過程中，利用保存的特定區(qū)域的輸入激活值計(jì)算梯度，以更新神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述區(qū)域是在輸入激活值的長(zhǎng)度和寬度方向上劃分的區(qū)域。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，通過兩個(gè)超參數(shù)確定所述特定區(qū)域，所述兩個(gè)超參數(shù)為分塊步長(zhǎng)和網(wǎng)絡(luò)稠密度。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，確定所述特定區(qū)域的步驟包括：
根據(jù)分塊步長(zhǎng)對(duì)輸入激活值劃分區(qū)域，并確定區(qū)域起始位置；
根據(jù)網(wǎng)絡(luò)稠密度確定保留區(qū)域總數(shù)。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)訓(xùn)練時(shí)批數(shù)據(jù)的編號(hào)確定所述區(qū)域起始位置。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述區(qū)域起始位置等于批數(shù)據(jù)編號(hào)與劃分區(qū)域的總數(shù)取模后的結(jié)果，以在整個(gè)訓(xùn)練過程中依次遍歷每個(gè)區(qū)域。
7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)網(wǎng)絡(luò)稠密度確定保留區(qū)域總數(shù)，包括：
當(dāng)區(qū)域起始位置的編號(hào)與保留區(qū)域總數(shù)之和大于劃分的區(qū)域總數(shù)時(shí)，超出的部分從編號(hào)為0的區(qū)域開始，依次向后取值，直到實(shí)際保留區(qū)域數(shù)等于保留區(qū)域總數(shù)為止。
8.一種基于分區(qū)域梯度更新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中間值存儲(chǔ)壓縮裝置，其特征在于，包括：
區(qū)域劃分模塊，用于在輸入激活值的長(zhǎng)度和寬度方向上劃分區(qū)域；
輸入激活值保存模塊，用于在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的前向傳播過程中，將區(qū)域劃分模塊劃分的區(qū)域中特定區(qū)域的輸入激活值保存在內(nèi)存中；
梯度計(jì)算模塊，用于在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的反向傳播過程中，利用保存的特定區(qū)域的輸入激活值計(jì)算梯度，以更新神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)。
9.一種電子裝置，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被配置為由所述處理器執(zhí)行，所述計(jì)算機(jī)程序包括用于執(zhí)行權(quán)利要求1～7中任一權(quán)利要求所述方法的指令。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被計(jì)算機(jī)執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1～7中任一權(quán)利要求所述的方法。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京大學(xué);鵬城實(shí)驗(yàn)室，未經(jīng)北京大學(xué);鵬城實(shí)驗(yàn)室許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請(qǐng)聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010317520.0/1.html，轉(zhuǎn)載請(qǐng)聲明來源鉆瓜專利網(wǎng)。
- 處理圖像的方法與裝置
- 一種磁共振成像系統(tǒng)的梯度磁場(chǎng)產(chǎn)生方法及其裝置
- 用于驅(qū)動(dòng)梯度線圈的梯度放大器系統(tǒng)及配置方法
- 一種基于相對(duì)梯度的圖像質(zhì)量客觀評(píng)價(jià)方法
- 一種優(yōu)化平衡穩(wěn)態(tài)自由進(jìn)動(dòng)序列的方法與裝置
- 一種重力梯度儀自標(biāo)定方法及離心梯度補(bǔ)償方法
- 梯度線圈及磁共振成像系統(tǒng)
- 一種磁場(chǎng)方向和梯度方向夾角可調(diào)的二維梯度磁場(chǎng)系統(tǒng)
- 一種聯(lián)邦推薦梯度獲取方法、裝置、智能終端及存儲(chǔ)介質(zhì)
- 一種超導(dǎo)全張量磁梯度探頭及超導(dǎo)全張量磁梯度測(cè)量系統(tǒng)
