[發(fā)明專(zhuān)利]一種智能的權(quán)重信息的分區(qū)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910483424.0
• 申請(qǐng)日: 2019-06-04
• 公開(kāi)（公告）號(hào): CN110298442A
• 公開(kāi)（公告）日: 2019-10-01
• 發(fā)明（設(shè)計(jì)）人: 景蔚亮;杜源;陳邦明
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海新儲(chǔ)集成電路有限公司
• 主分類(lèi)號(hào): G06N3/063
• 分類(lèi)號(hào): G06N3/063
• 代理公司: 上海申新律師事務(wù)所 31272
• 代理人: 俞滌炯

本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種智能的權(quán)重信息的分區(qū)處理方法，應(yīng)用于具有權(quán)重信息的神經(jīng)網(wǎng)絡(luò)；其中，在對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行不斷訓(xùn)練的過(guò)程中，將變化頻率大于第一預(yù)設(shè)閾值的權(quán)重信息存儲(chǔ)在一第一類(lèi)存儲(chǔ)器中；以及將變化頻率小于第一預(yù)設(shè)閾值的權(quán)重信息存儲(chǔ)在一第二類(lèi)存儲(chǔ)器中；能夠通過(guò)不斷地學(xué)習(xí)，將權(quán)重信息存儲(chǔ)在不同的位置，使得訓(xùn)練速度越來(lái)越快，且存儲(chǔ)媒介的種類(lèi)增加了，可以針對(duì)存儲(chǔ)的權(quán)重信息的特征設(shè)置相適應(yīng)的存儲(chǔ)媒介，也不需要再?gòu)牧硗獾拇鎯?chǔ)器中取數(shù)據(jù)，降低了訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型設(shè)備的價(jià)格。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種智能的權(quán)重信息的分區(qū)處理方法。

背景技術(shù)

深度學(xué)習(xí)作為人工智能的重要分支，扮演者重要角色，軟硬件協(xié)同創(chuàng)新為深度學(xué)習(xí)注入新動(dòng)力。硬件的優(yōu)化加速則從深度學(xué)習(xí)的兩個(gè)階段著手，分別為訓(xùn)練階段和推理階段。有專(zhuān)門(mén)有用推理階段的張量處理器(tensor processor unit，TPU)一代，也有兼顧訓(xùn)練階段和推理階段的CPU(Central Processing Unit中央處理器，簡(jiǎn)稱(chēng)CPU)、GPU(GraphicsProcessing Unit圖形處理器，簡(jiǎn)稱(chēng)GPU)、NPU(neural-networkprocess units網(wǎng)絡(luò)處理器，簡(jiǎn)稱(chēng)NPU)等。目前這些架構(gòu)中的神經(jīng)網(wǎng)絡(luò)的權(quán)重信息都需要通過(guò)內(nèi)存來(lái)存取數(shù)據(jù)，因?yàn)樯窠?jīng)網(wǎng)絡(luò)中權(quán)重信息的數(shù)量很大，所以需要大容量的內(nèi)存，且DRAM(Dynamic Random AccessMemory動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器，簡(jiǎn)稱(chēng)DRAM)為易失性存儲(chǔ)器，需要不斷地刷新，因此其功耗較大，同時(shí)，由于DRAM掉電數(shù)據(jù)就會(huì)丟失，因此必須將訓(xùn)練好的模型的權(quán)重信息存儲(chǔ)到大容量非易失性存儲(chǔ)器中，例如HDD(Hard Disk Drive硬盤(pán)驅(qū)動(dòng)器，簡(jiǎn)稱(chēng)HDD)，SSD(Solid StateDisk固態(tài)硬盤(pán)，簡(jiǎn)稱(chēng)SSD)中，在下一次上電時(shí)，需要從HDD或者SSD中取數(shù)據(jù)，這樣造成了性能和功耗的浪費(fèi)。另外，神經(jīng)網(wǎng)絡(luò)中大部分的權(quán)重信息的關(guān)聯(lián)性較小，而且大部分權(quán)重信息的變化較慢或基本不變，那么對(duì)于目前的神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，在存儲(chǔ)這些權(quán)重時(shí)，其并不會(huì)區(qū)分這些權(quán)重信息，對(duì)于那些不變的或者變化較緩的權(quán)重信息，DRAM同樣會(huì)進(jìn)行刷新，更新權(quán)重信息，這樣則造成不必要的時(shí)間和功耗的浪費(fèi)。

發(fā)明內(nèi)容

針對(duì)上述問(wèn)題，本發(fā)明提出了一種智能的權(quán)重信息的分區(qū)處理方法，應(yīng)用于具有權(quán)重信息的神經(jīng)網(wǎng)絡(luò)；

其中，在對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行不斷訓(xùn)練的過(guò)程中，將變化頻率大于第一預(yù)設(shè)閾值的所述權(quán)重信息存儲(chǔ)在一第一類(lèi)存儲(chǔ)器中；以及

將變化頻率小于所述第一預(yù)設(shè)閾值的所述權(quán)重信息存儲(chǔ)在一第二類(lèi)存儲(chǔ)器中。

上述的分區(qū)處理方法，其中，通過(guò)一處理系統(tǒng)判斷所述權(quán)重信息的變化頻率于所述第一預(yù)設(shè)閾值之間的大小。

上述的分區(qū)處理方法，其中，所述處理系統(tǒng)為具有一操作系統(tǒng)的計(jì)算機(jī)。

上述的分區(qū)處理方法，其中，所述權(quán)重信息之間具有關(guān)聯(lián)性；

還將關(guān)聯(lián)性大于第二預(yù)設(shè)閾值的所述權(quán)重信息存儲(chǔ)于所述第一類(lèi)存儲(chǔ)器中；以及

將關(guān)聯(lián)性小于第二預(yù)設(shè)閾值的所述權(quán)重信息存儲(chǔ)于所述第二類(lèi)存儲(chǔ)器中。

上述的分區(qū)處理方法，其中，所述第一類(lèi)存儲(chǔ)器為動(dòng)態(tài)隨機(jī)存儲(chǔ)器。

上述的分區(qū)處理方法，其中，所述第二類(lèi)存儲(chǔ)器為相變存儲(chǔ)器，或閃存，或電阻動(dòng)態(tài)隨機(jī)存儲(chǔ)器，或鐵電動(dòng)態(tài)隨機(jī)存儲(chǔ)器，或磁性動(dòng)態(tài)隨機(jī)存儲(chǔ)器。

上述的分區(qū)處理方法，其中，所述神經(jīng)網(wǎng)絡(luò)應(yīng)用于一學(xué)習(xí)模型中。

有益效果：本發(fā)明提出的一種智能的權(quán)重信息的分區(qū)處理方法，能夠通過(guò)不斷地學(xué)習(xí)，將權(quán)重信息存儲(chǔ)在不同的位置，使得訓(xùn)練速度越來(lái)越快，且存儲(chǔ)媒介的種類(lèi)增加了，可以針對(duì)存儲(chǔ)的權(quán)重信息的特征設(shè)置相適應(yīng)的存儲(chǔ)媒介，也不需要再?gòu)牧硗獾拇鎯?chǔ)器中取數(shù)據(jù)，降低了訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型設(shè)備的價(jià)格。

附圖說(shuō)明