[發(fā)明專利]一種神經(jīng)網(wǎng)絡訓練方法和裝置

有效

• 申請?zhí)枺?/td>: 201710459806.0
• 申請日: 2017-06-16
• 公開（公告）號: CN109146073B
• 公開（公告）日: 2022-05-24
• 發(fā)明（設計）人: 姚駿;劉武龍;汪玉;夏立雪
• 申請（專利權）人: 華為技術有限公司;清華大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/063
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請?zhí)峁┝艘环N神經(jīng)網(wǎng)絡訓練方法，應用于阻變存儲器RRAM上，該方法包括：將神經(jīng)網(wǎng)絡中第r層的神經(jīng)元輸入值輸入到RRAM中，根據(jù)RRAM中的過濾器對神經(jīng)元輸入值進行計算，得到神經(jīng)網(wǎng)絡中第r層的神經(jīng)元輸出值，根據(jù)RRAM的核值、神經(jīng)網(wǎng)絡中第r層的神經(jīng)元輸入值、神經(jīng)網(wǎng)絡中第r層的神經(jīng)元輸出值以及神經(jīng)網(wǎng)絡中第r層的反向傳播誤差值進行計算，得到神經(jīng)網(wǎng)絡中第r層的反向傳播更新值，將神經(jīng)網(wǎng)絡中第r層的反向傳播更新值與預設閾值進行比較，當神經(jīng)網(wǎng)絡中第r層的反向傳播更新值大于預設閾值，則根據(jù)神經(jīng)網(wǎng)絡中第r層的反向傳播更新值對RRAM中的過濾器進行更新。本申請旨在通過設置預設閾值減少神經(jīng)網(wǎng)絡訓練中的更新操作，從而延長RRAM的使用壽命。

技術領域

本申請數(shù)據(jù)處理領域，并且更具體地，涉及一種神經(jīng)網(wǎng)絡訓練方法和裝置。

背景技術

神經(jīng)網(wǎng)絡(如深度神經(jīng)網(wǎng)絡)在計算機視覺、自然語言處理、大數(shù)據(jù)挖掘等領域得到廣泛應用。神經(jīng)網(wǎng)絡計算具有如下兩個典型特點：

1)計算密集

神經(jīng)網(wǎng)絡主要進行的運算為多維矩陣乘法，其計算復雜度一般為O(N3)，即完成對N個數(shù)據(jù)的操作需要耗費的時間跟N的三次方成正比。例如，22層的googlenet(谷歌網(wǎng)絡，一種神經(jīng)元網(wǎng)絡結(jié)構(gòu)，由谷歌的研究者提出)一般需要6GFLOPS(Floating-point OperationsPer Second，每秒所執(zhí)行的浮點運算)的計算量。因此對計算硬件和性能優(yōu)化提出了較高要求。

2)訪存密集

首先，神經(jīng)網(wǎng)絡的訓練過程往往需要依賴海量的訓練數(shù)據(jù)，如imagenet 2012包含1400萬幅圖片；其次，神經(jīng)網(wǎng)絡包含上億級的神經(jīng)元的連接參數(shù)，尤其在訓練過程中需要頻繁更新；再者，神經(jīng)網(wǎng)絡在運算過程中會產(chǎn)生大量的中間結(jié)果，如梯度信息。訓練數(shù)據(jù)、連接權重、中間結(jié)果等大量數(shù)據(jù)的訪存開銷對于數(shù)據(jù)存儲結(jié)構(gòu)和計算性能優(yōu)化提出迫切要求。

新興的RRAM器件(阻變式存儲器，Resistive Random Access Memory)被認為是提升神經(jīng)網(wǎng)絡計算能效的器件之一。首先，RRAM是一種非易失性的存儲器，且具備較高的集成密度，相比閃存FLASH設備有更高的存取速度，且耗電量更低，更合適于進行靠近處理器的數(shù)據(jù)存取，從而十分適合應用于手機終端等設備中的非易失性的數(shù)據(jù)存儲介質(zhì)。再者，RRAM存儲單元利用阻值可變特性能夠表征多值，而非傳統(tǒng)存儲單元的0和1二值。基于RRAM以上這些特性，通過RRAM組建一種交叉陣列結(jié)構(gòu)，如圖1利用RRAM單元的交叉陣列結(jié)構(gòu)所示，非常適應神經(jīng)網(wǎng)絡本身的矩陣向量乘運算。

通過使用RRAM的模擬電路形式，可以快速的實現(xiàn)數(shù)字電路中的乘加工作。例如，矩陣運算C＝A x B中，產(chǎn)生某一列的n個目標數(shù)據(jù)，所對應的計算復雜度為O(n²)，上述目標數(shù)據(jù)可以認為是矩陣A的所有數(shù)據(jù)乘以矩陣B的對應的列數(shù)據(jù)獲得的。假設矩陣A為n x n大小，矩陣B的一列為n x 1大小，則C矩陣(結(jié)果矩陣)的這一個對應列的n個目標數(shù)據(jù)，每一個元素的獲得都需要一次n次乘加，總共的需要n x n次計算。而RRAM的計算中，可以通過DAC(Digital to Analog Converter，數(shù)字/模擬轉(zhuǎn)換器)和ADC(Analog to DigitalConverter，模擬/數(shù)字轉(zhuǎn)換器)的協(xié)同作為，將此過程轉(zhuǎn)換到基于RRAM的模擬電路計算的過程中。對所有的元素現(xiàn)有工作表明，利用RRAM存儲單元搭建的交叉陣列結(jié)構(gòu)對神經(jīng)網(wǎng)絡計算進行加速，同CPU或者GPU相比可提升100-1000倍的能效。