[發(fā)明專利]基于憶阻器的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法及其訓(xùn)練裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911059194.1
• 申請(qǐng)日: 2019-11-01
• 公開(kāi)（公告）號(hào): CN110796241B
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 吳華強(qiáng);姚鵬;高濱;張清天;錢鶴
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G11C13/00
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 彭久云

一種基于憶阻器的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法及其訓(xùn)練裝置。該神經(jīng)網(wǎng)絡(luò)包括逐一連接的多層神經(jīng)元層以及在神經(jīng)元層之間的權(quán)重參數(shù)，該訓(xùn)練方法包括：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，并基于訓(xùn)練后的權(quán)重參數(shù)對(duì)憶阻器陣列進(jìn)行編程，以將訓(xùn)練后的權(quán)重參數(shù)寫(xiě)入憶阻器陣列中；以及通過(guò)調(diào)節(jié)憶阻器陣列的部分電導(dǎo)值以更新神經(jīng)網(wǎng)絡(luò)的至少一層權(quán)重參數(shù)。該訓(xùn)練方法彌補(bǔ)了憶阻器神經(jīng)網(wǎng)絡(luò)的片上訓(xùn)練和片外訓(xùn)練實(shí)現(xiàn)方案的不足，從神經(jīng)網(wǎng)絡(luò)系統(tǒng)實(shí)現(xiàn)角度出發(fā)，解決了由于良率問(wèn)題、非一致性問(wèn)題、電導(dǎo)漂移以及隨機(jī)的波動(dòng)性等器件非理想特性造成的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能退化，極大地簡(jiǎn)化了神經(jīng)網(wǎng)絡(luò)系統(tǒng)的復(fù)雜度，降低了神經(jīng)網(wǎng)絡(luò)系統(tǒng)的實(shí)現(xiàn)成本。

技術(shù)領(lǐng)域

本公開(kāi)的實(shí)施例涉及一種基于憶阻器的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法及其訓(xùn)練裝置。

背景技術(shù)

深度神經(jīng)網(wǎng)絡(luò)算法的興起，帶來(lái)了智能化的信息技術(shù)革命。基于各種深度神經(jīng)網(wǎng)絡(luò)算法，可以實(shí)現(xiàn)圖像識(shí)別與分割、物體探測(cè)以及完成對(duì)語(yǔ)音和文本的翻譯、生成等處理。使用深度神經(jīng)網(wǎng)絡(luò)算法處理不同工作負(fù)載是一類以數(shù)據(jù)為中心的計(jì)算，實(shí)現(xiàn)該算法的硬件平臺(tái)需要具有高性能、低功耗的處理能力。然而，傳統(tǒng)的實(shí)現(xiàn)該算法的硬件平臺(tái)是基于存儲(chǔ)和計(jì)算分離的馮諾依曼架構(gòu)，這種架構(gòu)在計(jì)算時(shí)需要數(shù)據(jù)在存儲(chǔ)器件和計(jì)算器件之間來(lái)回搬移，因此在包含大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)的計(jì)算過(guò)程中，該架構(gòu)的能效較低。為此，開(kāi)發(fā)一種新型計(jì)算硬件來(lái)運(yùn)行深度神經(jīng)網(wǎng)絡(luò)算法成為當(dāng)前亟需解決的問(wèn)題。

發(fā)明內(nèi)容

本公開(kāi)至少一實(shí)施例提供一種基于憶阻器的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，所述神經(jīng)網(wǎng)絡(luò)包括逐一連接的多層神經(jīng)元層以及在所述神經(jīng)元層之間的權(quán)重參數(shù)，所述訓(xùn)練方法包括：訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，并基于訓(xùn)練后的所述權(quán)重參數(shù)對(duì)憶阻器陣列進(jìn)行編程，以將所述訓(xùn)練后的所述權(quán)重參數(shù)寫(xiě)入所述憶阻器陣列中；以及通過(guò)調(diào)節(jié)所述憶阻器陣列的至少部分電導(dǎo)值以更新所述神經(jīng)網(wǎng)絡(luò)的至少一層權(quán)重參數(shù)。

例如，在本公開(kāi)至少一實(shí)施例提供的訓(xùn)練方法中，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，并基于訓(xùn)練后的所述權(quán)重參數(shù)對(duì)憶阻器陣列進(jìn)行編程，以將所述訓(xùn)練后的所述權(quán)重參數(shù)寫(xiě)入所述憶阻器陣列中，包括：在訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)的過(guò)程中，根據(jù)所述憶阻器陣列的電導(dǎo)狀態(tài)的約束，直接獲取所述神經(jīng)網(wǎng)絡(luò)的量化后的權(quán)重參數(shù)，將所述量化后的權(quán)重參數(shù)寫(xiě)入所述憶阻器陣列中。

例如，在本公開(kāi)至少一實(shí)施例提供的訓(xùn)練方法方法中，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，并基于訓(xùn)練后的所述權(quán)重參數(shù)對(duì)憶阻器陣列進(jìn)行編程，以將訓(xùn)練后的所述權(quán)重參數(shù)寫(xiě)入憶阻器陣列中，包括：基于所述憶阻器陣列的電導(dǎo)狀態(tài)的約束對(duì)所述訓(xùn)練后的權(quán)重參數(shù)進(jìn)行量化操作，以獲取量化后的權(quán)重參數(shù)；將所述量化后的權(quán)重參數(shù)寫(xiě)入所述憶阻器陣列中。

例如，在本公開(kāi)至少一實(shí)施例提供的訓(xùn)練方法中，所述量化操作包括均勻量化和非均勻量化。

例如，在本公開(kāi)至少一實(shí)施例提供的訓(xùn)練方法中，將所述量化后的權(quán)重參數(shù)寫(xiě)入所述憶阻器陣列中，包括：基于所述量化后的權(quán)重參數(shù)獲取所述憶阻器陣列的電導(dǎo)狀態(tài)的目標(biāo)區(qū)間；判斷所述憶阻器陣列的各器件的電導(dǎo)狀態(tài)是否在所述目標(biāo)區(qū)間內(nèi)；如果否，判斷所述憶阻器陣列的各器件的電導(dǎo)狀態(tài)是否超出所述目標(biāo)區(qū)間；如果是，施加反向脈沖；如果否，施加正向脈沖；如果是，則量化后的權(quán)重參數(shù)寫(xiě)入所述憶阻器陣列。

例如，在本公開(kāi)至少一實(shí)施例提供的訓(xùn)練方法中，通過(guò)調(diào)節(jié)所述憶阻器陣列的部分憶阻器的電導(dǎo)值以更新所述神經(jīng)網(wǎng)絡(luò)的至少一層權(quán)重參數(shù)，包括：通過(guò)前向計(jì)算操作和反向計(jì)算操作對(duì)所述憶阻器陣列進(jìn)行訓(xùn)練；基于所述前向計(jì)算操作和所述反向計(jì)算操作的結(jié)果向所述憶阻器陣列的部分憶阻器施加正向電壓或反向電壓以更新所述憶阻器陣列的部分憶阻器的電導(dǎo)。

例如，在本公開(kāi)至少一實(shí)施例提供的訓(xùn)練方法中，僅對(duì)所述憶阻器陣列的至少部分進(jìn)行所述反向計(jì)算操作。

例如，在本公開(kāi)至少一實(shí)施例提供的訓(xùn)練方法中，對(duì)所述憶阻器陣列逐行進(jìn)行或逐列進(jìn)行或整體并行進(jìn)行所述前向計(jì)算操作和所述反向計(jì)算操作。

例如，在本公開(kāi)至少一實(shí)施例提供的訓(xùn)練方法中，逐行進(jìn)行或逐列進(jìn)行更新與所述憶阻器陣列的至少部分憶阻器相對(duì)應(yīng)的權(quán)重參數(shù)。