[發(fā)明專利]用于歸一化神經(jīng)網(wǎng)絡(luò)設(shè)備的裝置和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710946858.0
• 申請(qǐng)日: 2017-10-12
• 公開（公告）號(hào): CN108205705B
• 公開（公告）日: 2022-10-11
• 發(fā)明（設(shè)計(jì)）人: 陳永栽
• 申請(qǐng)（專利權(quán)）人: 愛思開海力士有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/06
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11363
• 代理人: 毋二省;許偉群

一種神經(jīng)網(wǎng)絡(luò)設(shè)備可以包括：輸入單元，適用于將輸入信號(hào)施加到對(duì)應(yīng)的第一線；計(jì)算單元，包括交叉連接在第一線與第二線之間的存儲(chǔ)器元件，其中存儲(chǔ)器元件具有相應(yīng)的權(quán)重值，并且產(chǎn)生來自多個(gè)第一線之中的對(duì)應(yīng)第一線的輸入信號(hào)與權(quán)重的乘積信號(hào)，以將乘積信號(hào)輸出到來自第二線之中的對(duì)應(yīng)第二線；漏失連接控制單元，包括連接在多個(gè)第一線與多個(gè)存儲(chǔ)器元件之間的開關(guān)，并且適用于隨機(jī)地漏失施加到來自多個(gè)存儲(chǔ)器元件之中的對(duì)應(yīng)存儲(chǔ)器元件的輸入信號(hào)的連接；輸出單元，連接到多個(gè)第二線，并且適用于：當(dāng)計(jì)算單元執(zhí)行產(chǎn)生乘積信號(hào)設(shè)置的次數(shù)時(shí)，選擇性地激活多個(gè)第二線的信號(hào)，以將被激活的信號(hào)施加到輸入單元，并且執(zhí)行針對(duì)被激活的信號(hào)的輸出。

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求2016年12月16日在韓國知識(shí)產(chǎn)權(quán)局提交的申請(qǐng)?zhí)枮?0-2016-0172605的韓國專利申請(qǐng)的優(yōu)先權(quán)，其公開的內(nèi)容通過引用整體合并于此。

技術(shù)領(lǐng)域

本公開的示例性實(shí)施例涉及一種用于使用漏失連接(drop-connect)和/或漏失(dropout)來執(zhí)行神經(jīng)網(wǎng)絡(luò)設(shè)備的歸一化的裝置和方法。

背景技術(shù)

在人腦中，存在為數(shù)千億單位的神經(jīng)細(xì)胞的神經(jīng)元，該神經(jīng)元形成復(fù)雜的神經(jīng)網(wǎng)絡(luò)。神經(jīng)元通過經(jīng)由突觸將信號(hào)傳輸?shù)匠汕挝坏钠渌窠?jīng)元和/或從成千單位的其他神經(jīng)元接收信號(hào)來顯示智能。神經(jīng)元是神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能單位，并且可以是信息傳遞的基本單位。突觸可以是神經(jīng)元之間的連結(jié)部分，并且可以接觸另一個(gè)神經(jīng)元。神經(jīng)網(wǎng)絡(luò)設(shè)備可以是使人造神經(jīng)系統(tǒng)將這種神經(jīng)網(wǎng)絡(luò)復(fù)制到神經(jīng)元水平的設(shè)備。

神經(jīng)網(wǎng)絡(luò)設(shè)備可以是用于將特定信息任意地分配給神經(jīng)元并且使對(duì)應(yīng)的神經(jīng)元學(xué)習(xí)被分配的信息的方式。在神經(jīng)網(wǎng)絡(luò)設(shè)備中，神經(jīng)元可以接觸另一神經(jīng)元的突觸以接收信息，并且還可以將信息輸出到另一個(gè)神經(jīng)元作為輸入信息。

神經(jīng)網(wǎng)絡(luò)設(shè)備的算法可以具有高復(fù)雜度。例如，一個(gè)神經(jīng)元可以接收許多信息。神經(jīng)元可以執(zhí)行用各個(gè)相應(yīng)的權(quán)重計(jì)算接收到的信息的操作。因此，為了改善神經(jīng)網(wǎng)絡(luò)設(shè)備的復(fù)雜度，可能需要?dú)w一化和/或正則化。

發(fā)明內(nèi)容

各種實(shí)施例涉及一種能夠?qū)ι窠?jīng)網(wǎng)絡(luò)設(shè)備的計(jì)算進(jìn)行歸一化和/或正則化的裝置和方法。

此外，各種實(shí)施例涉及一種能夠在神經(jīng)網(wǎng)絡(luò)中將輸入到憶阻器的信號(hào)歸一化的裝置和方法，該神經(jīng)網(wǎng)絡(luò)使用憶阻器來處理信息。

此外，各種實(shí)施例涉及一種能夠在神經(jīng)網(wǎng)絡(luò)設(shè)備中漏失憶阻器的節(jié)點(diǎn)輸出裝置和方法，該神經(jīng)網(wǎng)絡(luò)設(shè)備使用憶阻器來處理信息。

此外，各種實(shí)施例涉及一種能夠在神經(jīng)網(wǎng)絡(luò)設(shè)備中使用漏失連接功能和漏失功能來執(zhí)行歸一化裝置和方法，該神經(jīng)網(wǎng)絡(luò)設(shè)備使用憶阻器來處理信息。

在一個(gè)實(shí)施例中，神經(jīng)網(wǎng)絡(luò)設(shè)備包括：輸入單元，適用于將多個(gè)輸入信號(hào)施加到多個(gè)對(duì)應(yīng)第一線；計(jì)算單元，包括交叉連接(cross-connected)在多個(gè)第一線與多個(gè)第二線之間的多個(gè)存儲(chǔ)器元件，其中多個(gè)存儲(chǔ)器元件具有相應(yīng)的權(quán)重值，并且產(chǎn)生來自多個(gè)第一線之中的對(duì)應(yīng)第一線的輸入信號(hào)與權(quán)重的乘積信號(hào)，以將乘積信號(hào)輸出到來自多個(gè)第二線之中的對(duì)應(yīng)第二線；漏失連接控制單元，包括連接在多個(gè)第一線與多個(gè)存儲(chǔ)器元件之間的開關(guān)，并且適用于隨機(jī)地漏失施加到來自多個(gè)存儲(chǔ)器元件之中的對(duì)應(yīng)存儲(chǔ)器元件的輸入信號(hào)的連接；以及輸出單元，連接到多個(gè)第二線，并且適用于：當(dāng)計(jì)算單元執(zhí)行產(chǎn)生乘積信號(hào)設(shè)置的次數(shù)時(shí)，選擇性地激活多個(gè)第二線的信號(hào)以將被激活的信號(hào)施加到輸入單元，并且執(zhí)行針對(duì)被激活的信號(hào)的輸出。