[發(fā)明專(zhuān)利]一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710459806.0
• 申請(qǐng)日: 2017-06-16
• 公開(kāi)（公告）號(hào): CN109146073B
• 公開(kāi)（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 姚駿;劉武龍;汪玉;夏立雪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司;清華大學(xué)
• 主分類(lèi)號(hào): G06N3/08
• 分類(lèi)號(hào): G06N3/08;G06N3/063
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，應(yīng)用于阻變存儲(chǔ)器(Resistive RandomAccess Memory，RRAM)上，所述方法包括：

將神經(jīng)網(wǎng)絡(luò)中第r層的神經(jīng)元輸入值r_i1、r_i2……r_in輸入到所述RRAM中，根據(jù)所述RRAM中的過(guò)濾器(filter)對(duì)所述神經(jīng)元輸入值r_i1、r_i2……r_in進(jìn)行計(jì)算，得到所述神經(jīng)網(wǎng)絡(luò)中第r層的神經(jīng)元輸出值r_o1、r_o2……r_om，其中，n為大于0的正整數(shù)，m為大于0的正整數(shù)；

根據(jù)所述RRAM的核值、所述神經(jīng)網(wǎng)絡(luò)中第r層的神經(jīng)元輸入值r_i1、r_i2……r_in、所述神經(jīng)網(wǎng)絡(luò)中第r層的神經(jīng)元輸出值r_o1、r_o2……r_om以及所述神經(jīng)網(wǎng)絡(luò)中第r層的反向傳播誤差值B₁、B₂……B_m進(jìn)行計(jì)算，得到所述神經(jīng)網(wǎng)絡(luò)中第r層的反向傳播更新值C₁、C₂……C_m；其中，所述RRAM的核值為所述RRAM中的過(guò)濾器的矩陣值，所述神經(jīng)網(wǎng)絡(luò)中第r層的反向傳播誤差值B₁、B₂……B_m是根據(jù)所述神經(jīng)網(wǎng)絡(luò)第r層的神經(jīng)元輸出值r_o1、r_o2……r_om和所述神經(jīng)網(wǎng)絡(luò)第r層的神經(jīng)元參考輸出值r_t1、r_t2……r_tm得到的；

將所述神經(jīng)網(wǎng)絡(luò)中第r層的反向傳播更新值C₁、C₂……C_m與預(yù)設(shè)閾值進(jìn)行比較，當(dāng)所述神經(jīng)網(wǎng)絡(luò)中第r層的反向傳播更新值C₁、C₂……C_m大于所述預(yù)設(shè)閾值，則

根據(jù)所述神經(jīng)網(wǎng)絡(luò)中第r層的反向傳播更新值C₁、C₂……C_m對(duì)所述RRAM中的過(guò)濾器進(jìn)行更新。

2.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)閾值為靜態(tài)閾值或動(dòng)態(tài)閾值；當(dāng)所述預(yù)設(shè)閾值為靜態(tài)閾值時(shí)，所述神經(jīng)網(wǎng)絡(luò)中所有層級(jí)的預(yù)設(shè)閾值的值相同，當(dāng)所述預(yù)設(shè)閾值為動(dòng)態(tài)閾值時(shí)，所述神經(jīng)網(wǎng)絡(luò)中不同層級(jí)的預(yù)設(shè)閾值的值不同或部分不同。

3.如權(quán)利要求1或2所述的方法，其特征在于，對(duì)所述RRAM進(jìn)行錯(cuò)誤測(cè)試，輸出所述RRAM的硬錯(cuò)誤分布圖，根據(jù)所述RRAM的硬錯(cuò)誤分布圖對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)重排。

4.如權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述RRAM的硬錯(cuò)誤分布圖對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)重排包括：將所述神經(jīng)網(wǎng)絡(luò)的稀疏數(shù)據(jù)排布到所述RRAM上恒為0的硬錯(cuò)誤區(qū)域。

5.如權(quán)利要求3所述的方法，其特征在于，所述對(duì)所述RRAM進(jìn)行錯(cuò)誤測(cè)試，輸出所述RRAM的硬錯(cuò)誤分布圖包括：

對(duì)所述RRAM中各個(gè)單元分別寫(xiě)入測(cè)試值，將所述各個(gè)單元的測(cè)試值與所述各個(gè)單元的實(shí)際讀出值分別進(jìn)行比較，得到所述RRAM中各個(gè)單元的硬錯(cuò)誤情況，所述RRAM中各個(gè)單元的硬錯(cuò)誤情況構(gòu)成所述RRAM的硬錯(cuò)誤分布圖。