[發(fā)明專利]可編程可重置人工神經(jīng)網(wǎng)絡(luò)的基于計(jì)數(shù)器的電阻處理單元

在審

• 申請(qǐng)?zhí)枺?/td>: 201880077961.9
• 申請(qǐng)日: 2018-11-22
• 公開(kāi)（公告）號(hào): CN111433792A
• 公開(kāi)（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: S·考斯瓦塔;李宇龍;P·M·瑟隆蒙
• 申請(qǐng)（專利權(quán)）人: 國(guó)際商業(yè)機(jī)器公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/063
• 代理公司: 中國(guó)國(guó)際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所 11038
• 代理人: 吳信剛

描述了用于在電阻處理單元(RPU)陣列的交叉點(diǎn)器件中存儲(chǔ)權(quán)重的技術(shù)方案。示例方法包括設(shè)置交叉點(diǎn)器件中的一組單比特計(jì)數(shù)器中的每個(gè)單比特計(jì)數(shù)器的狀態(tài)，單比特計(jì)數(shù)器的狀態(tài)表示要在交叉點(diǎn)器件處存儲(chǔ)的權(quán)重。該方法還包括調(diào)整交叉點(diǎn)器件的電阻器器件的電導(dǎo)。電阻器器件包括一組電阻電路，每個(gè)電阻電路與該組單比特計(jì)數(shù)器中的相應(yīng)單比特計(jì)數(shù)器相關(guān)聯(lián)，通過(guò)根據(jù)相關(guān)聯(lián)的單比特計(jì)數(shù)器的狀態(tài)激活或去激活每個(gè)電阻電路來(lái)調(diào)節(jié)電導(dǎo)。

背景技術(shù)

本發(fā)明一般涉及可訓(xùn)練的電阻性交叉點(diǎn)器件—在此被稱為電阻處理單元(RPU)—的配置，更具體地說(shuō)，本發(fā)明涉及由電阻處理單元(RPU)的交叉桿陣列形成的人工神經(jīng)網(wǎng)絡(luò)(ANN)，其無(wú)需RPU之外的附加處理元件就能提供本地?cái)?shù)據(jù)存儲(chǔ)和本地?cái)?shù)據(jù)處理，從而提高ANN實(shí)現(xiàn)諸如矩陣求逆、矩陣分解等算法的能力。

已知諸如計(jì)算機(jī)字符識(shí)別和圖像識(shí)別之類的技術(shù)問(wèn)題通過(guò)機(jī)器學(xué)習(xí)技術(shù)被很好地處理。“機(jī)器學(xué)習(xí)”被用于寬泛地描述從數(shù)據(jù)學(xué)習(xí)的電子系統(tǒng)的主要功能。在機(jī)器學(xué)習(xí)和認(rèn)知科學(xué)中，ANN是由動(dòng)物的生物神經(jīng)網(wǎng)絡(luò)—特別是大腦—所啟發(fā)的一族統(tǒng)計(jì)學(xué)習(xí)模型。ANN可以用于估計(jì)或近似依賴于大量輸入并且通常未知的系統(tǒng)和函數(shù)。交叉桿陣列是用于形成各種電子電路和器件高密度、低成本的電路結(jié)構(gòu)，包括ANN結(jié)構(gòu)、神經(jīng)形態(tài)微芯片和超高密度非易失性存儲(chǔ)器。一種基本的交叉桿陣列配置包括一組導(dǎo)電行線和與該組導(dǎo)電行線形成交叉的一組導(dǎo)電列線。這兩組導(dǎo)線之間的交叉點(diǎn)由所謂的交叉點(diǎn)器件隔離。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的實(shí)施例，描述了一種用于在電阻處理單元(RPU)陣列的交叉點(diǎn)器件中存儲(chǔ)權(quán)重的方法。該方法包括設(shè)置交叉點(diǎn)器件中的一組單比特計(jì)數(shù)器中的每個(gè)單比特計(jì)數(shù)器的狀態(tài)，單比特計(jì)數(shù)器的狀態(tài)表示要存儲(chǔ)在交叉點(diǎn)器件處的權(quán)重。該方法還包括調(diào)整交叉點(diǎn)器件的電阻器器件的電導(dǎo)。電阻器器件包括一組電阻電路，并且每個(gè)電阻電路與該組單比特計(jì)數(shù)器中的相應(yīng)單比特計(jì)數(shù)器相關(guān)聯(lián)。通過(guò)根據(jù)相關(guān)聯(lián)的單比特計(jì)數(shù)器的狀態(tài)激活或去激活每個(gè)電阻電路來(lái)調(diào)節(jié)電阻器器件的電導(dǎo)。

根據(jù)本發(fā)明的實(shí)施例，描述了一種用于在RPU陣列中的交叉點(diǎn)處存儲(chǔ)權(quán)重值的交叉點(diǎn)器件。交叉點(diǎn)器件包括具有一組單比特計(jì)數(shù)器的計(jì)數(shù)器，單比特計(jì)數(shù)器的狀態(tài)表示要存儲(chǔ)在交叉點(diǎn)器件處的權(quán)重。電阻器器件包括一組電阻電路，并且每個(gè)電阻電路與該組單比特計(jì)數(shù)器中的相應(yīng)單比特計(jì)數(shù)器相關(guān)聯(lián)。根據(jù)相關(guān)聯(lián)的單比特計(jì)數(shù)器的狀態(tài)來(lái)激活或去激活電阻電路，并且至少部分地基于被激活的電阻電路來(lái)調(diào)整電阻器器件的電導(dǎo)。

根據(jù)本發(fā)明的實(shí)施例，描述了一種用于實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的系統(tǒng)。該系統(tǒng)包括交叉點(diǎn)陣列，該交叉點(diǎn)陣列包括多個(gè)節(jié)點(diǎn)，其中，每個(gè)節(jié)點(diǎn)表示神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接，并且其中，每個(gè)節(jié)點(diǎn)存儲(chǔ)分配給該節(jié)點(diǎn)的權(quán)重。該交叉點(diǎn)陣列包括在每個(gè)節(jié)點(diǎn)處的交叉點(diǎn)器件。交叉點(diǎn)器件包括具有多個(gè)單比特計(jì)數(shù)器的計(jì)數(shù)器，單比特計(jì)數(shù)器的狀態(tài)代表要存儲(chǔ)在交叉點(diǎn)器件處的權(quán)重。此外，交叉點(diǎn)器件包括具有多個(gè)電阻電路的電阻器器件，并且每個(gè)電阻電路與這些單比特計(jì)數(shù)器中的相應(yīng)單比特計(jì)數(shù)器相關(guān)聯(lián)。根據(jù)相關(guān)聯(lián)的單比特計(jì)數(shù)器的狀態(tài)來(lái)激活或去激活電阻電路，并且至少部分地基于被激活的電阻電路來(lái)調(diào)節(jié)電阻器器件的電導(dǎo)。此外，全局控制器調(diào)整存儲(chǔ)在交叉點(diǎn)陣列中的每個(gè)交叉點(diǎn)器件處的值。

根據(jù)本發(fā)明的實(shí)施例，描述了一種用于實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的交叉點(diǎn)陣列。示例性交叉點(diǎn)陣列包括一組交叉點(diǎn)器件，交叉點(diǎn)器件位于交叉點(diǎn)陣列的相應(yīng)節(jié)點(diǎn)處，每個(gè)節(jié)點(diǎn)表示神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接，并且每個(gè)節(jié)點(diǎn)存儲(chǔ)分配給該節(jié)點(diǎn)的權(quán)重。交叉點(diǎn)器件包括具有單比特計(jì)數(shù)器的計(jì)數(shù)器，單比特計(jì)數(shù)器的狀態(tài)代表要存儲(chǔ)在交叉點(diǎn)器件處的權(quán)重。電阻器器件包括一組電阻電路，每個(gè)電阻電路與該組單比特計(jì)數(shù)器中的相應(yīng)單比特計(jì)數(shù)器相關(guān)聯(lián)。根據(jù)相關(guān)聯(lián)的單比特計(jì)數(shù)器的狀態(tài)來(lái)激活或去激活電阻電路，并且至少部分地基于被激活的電阻電路來(lái)調(diào)節(jié)電阻器器件的電導(dǎo)。