[發(fā)明專利]基于憶阻器陣列的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011000848.6
• 申請(qǐng)日: 2020-09-22
• 公開（公告）號(hào): CN112101549A
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計(jì)）人: 高濱;周穎;唐建石;吳華強(qiáng);錢鶴
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04;G11C13/00
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 彭久云

一種基于憶阻器陣列的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法及訓(xùn)練裝置。該神經(jīng)網(wǎng)絡(luò)包括逐一連接的多層神經(jīng)元層以及在多層神經(jīng)元層之間的權(quán)重參數(shù)矩陣，該方法包括：獲取神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)矩陣中元素的更新值；判斷神經(jīng)網(wǎng)絡(luò)當(dāng)前所處的訓(xùn)練階段，訓(xùn)練階段包括在時(shí)間上依次排列的第一訓(xùn)練階段和第二訓(xùn)練階段；基于神經(jīng)網(wǎng)絡(luò)當(dāng)前所處的訓(xùn)練階段和更新值，確定向憶阻器陣列中的憶阻器施加脈沖的脈沖信息；以及基于脈沖信息，調(diào)節(jié)憶阻器陣列中各個(gè)憶阻器的電導(dǎo)值，以更新神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)矩陣中元素的值；第一訓(xùn)練階段中確定的脈沖信息與第二訓(xùn)練階段中確定的脈沖信息不同。該訓(xùn)練方法能夠保證較高的訓(xùn)練精度和提高訓(xùn)練速度，并且用于實(shí)現(xiàn)該訓(xùn)練方法的硬件電路簡(jiǎn)單。

技術(shù)領(lǐng)域

本公開的實(shí)施例涉及一種基于憶阻器陣列的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和裝置。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)在自動(dòng)駕駛、語(yǔ)言識(shí)別、數(shù)據(jù)處理等領(lǐng)域獲得巨大成功。憶阻器元件集存儲(chǔ)與計(jì)算于一體的優(yōu)勢(shì)，使其在神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)領(lǐng)域得到了眾多關(guān)注。

發(fā)明內(nèi)容

本公開至少一實(shí)施例提供一種基于憶阻器陣列的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，所述神經(jīng)網(wǎng)絡(luò)包括逐一連接的多層神經(jīng)元層以及在所述多層神經(jīng)元層之間的權(quán)重參數(shù)矩陣，所述方法包括：獲取所述神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)矩陣中元素的更新值；判斷所述神經(jīng)網(wǎng)絡(luò)當(dāng)前所處的訓(xùn)練階段，所述訓(xùn)練階段包括在時(shí)間上依次排列的第一訓(xùn)練階段和第二訓(xùn)練階段；基于所述神經(jīng)網(wǎng)絡(luò)當(dāng)前所處的訓(xùn)練階段和所述更新值，確定向所述憶阻器陣列中的憶阻器施加脈沖的脈沖信息；以及基于所述脈沖信息，調(diào)節(jié)所述憶阻器陣列中各個(gè)憶阻器的電導(dǎo)值，以更新所述神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)矩陣中元素的值；所述第一訓(xùn)練階段中確定的脈沖信息與所述第二訓(xùn)練階段中確定的脈沖信息不同。

例如，在本公開一實(shí)施例提供的訓(xùn)練方法中，脈沖信息包括脈沖個(gè)數(shù)、脈沖幅值、脈沖方向和脈沖寬度中的至少一個(gè)。

例如，在本公開一實(shí)施例提供的訓(xùn)練方法中，脈沖信息包括脈沖個(gè)數(shù)，基于所述神經(jīng)網(wǎng)絡(luò)當(dāng)前所處的訓(xùn)練階段和所述更新值，確定向所述憶阻器陣列中的憶阻器施加脈沖的脈沖信息，包括：根據(jù)所述神經(jīng)網(wǎng)絡(luò)當(dāng)前所處的訓(xùn)練階段，確定至少一個(gè)閾值端點(diǎn)，并且基于所述至少一個(gè)閾值端點(diǎn)將所述更新值的絕對(duì)值的取值范圍劃分為多個(gè)閾值區(qū)間；確定所述多個(gè)閾值區(qū)間與所述脈沖個(gè)數(shù)之間的對(duì)應(yīng)關(guān)系；以及基于所述更新值所屬的閾值區(qū)間和所述對(duì)應(yīng)關(guān)系，確定向所述憶阻器陣列中的憶阻器施加脈沖的脈沖信息。

例如，本公開一實(shí)施例提供的訓(xùn)練方法中，根據(jù)所述神經(jīng)網(wǎng)絡(luò)當(dāng)前所處的訓(xùn)練階段，確定所述至少一個(gè)閾值端點(diǎn)，并且基于所述至少一個(gè)閾值端點(diǎn)將所述更新值的絕對(duì)值的取值范圍劃分為多個(gè)閾值區(qū)間，包括：若所述神經(jīng)網(wǎng)絡(luò)當(dāng)前所處的訓(xùn)練階段為所述第一訓(xùn)練階段，則在所述第一訓(xùn)練階段中確定至少兩個(gè)閾值端點(diǎn)，以將所述更新值的絕對(duì)值的取值范圍在所述第一訓(xùn)練階段劃分為依次排列的多個(gè)閾值區(qū)間；若所述神經(jīng)網(wǎng)絡(luò)當(dāng)前所處的訓(xùn)練階段為第二訓(xùn)練階段，則在所述第二訓(xùn)練階段中確定至少兩個(gè)閾值端點(diǎn)，以將所述更新值的絕對(duì)值的取值范圍在所述第二訓(xùn)練階段劃分為依次排列的多個(gè)閾值區(qū)間；所述第一訓(xùn)練階段中的多個(gè)第一特定閾值區(qū)間的區(qū)間寬度分別大于所述第二訓(xùn)練階段中的多個(gè)第二特定閾值區(qū)間的區(qū)間寬度，所述多個(gè)第一特定閾值區(qū)間為所述第一訓(xùn)練階段的多個(gè)閾值區(qū)間中數(shù)值均小于第一預(yù)設(shè)值的區(qū)間，所述多個(gè)第二特定閾值區(qū)間為所述第二訓(xùn)練階段的多個(gè)閾值區(qū)間中數(shù)值均小于第二預(yù)設(shè)值的區(qū)間。

例如，本公開一實(shí)施例提供的訓(xùn)練方法中，第一訓(xùn)練階段的至少兩個(gè)閾值端點(diǎn)包括第一閾值端點(diǎn)和第二閾值端點(diǎn)，所述第二訓(xùn)練階段的至少兩個(gè)閾值端點(diǎn)包括第三閾值端點(diǎn)和第四閾值端點(diǎn)，所述第一閾值端點(diǎn)的值大于所述第三閾值端點(diǎn)的值，所述第二閾值端點(diǎn)的值大于第四閾值端點(diǎn)的值。

例如，在本公開一實(shí)施例提供的訓(xùn)練方法中，第一訓(xùn)練階段的多個(gè)閾值區(qū)間包括第一閾值區(qū)間、第二閾值區(qū)間和第三閾值區(qū)間，所述第二訓(xùn)練階段的多個(gè)閾值區(qū)間包括在第四閾值區(qū)間、第五閾值區(qū)間和第六閾值區(qū)間，第一閾值區(qū)間的寬度大于第四閾值區(qū)間的寬度，第二閾值區(qū)間的寬度大于第五閾值區(qū)間的寬度。