[發(fā)明專利]積和運(yùn)算器、神經(jīng)形態(tài)器件及積和運(yùn)算器的使用方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201880084232.6
• 申請(qǐng)日: 2018-12-12
• 公開（公告）號(hào): CN111512312B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 柴田龍雄
• 申請(qǐng)（專利權(quán)）人: TDK株式會(huì)社
• 主分類號(hào): G06G7/60
• 分類號(hào): G06G7/60;G06N3/063;H10B63/00
• 代理公司: 北京尚誠知識(shí)產(chǎn)權(quán)代理有限公司 11322
• 代理人: 楊琦;黃浩

本發(fā)明提供在應(yīng)用于神經(jīng)網(wǎng)絡(luò)的情況下，能夠抑制偏置項(xiàng)用元件的故障時(shí)的神經(jīng)網(wǎng)絡(luò)的性能降低的積和運(yùn)算器。積和運(yùn)算器(1)具備積運(yùn)算部(10)、和運(yùn)算部(11)，積運(yùn)算部(10)具備多個(gè)可變輸入用積運(yùn)算元件(10A1A)、(10A1B)；多個(gè)固定輸入用積運(yùn)算元件(10A2A)、(10A2B)。多個(gè)可變輸入用積運(yùn)算元件(10A1A)、(10A1B)及多個(gè)固定輸入用積運(yùn)算元件(10A2A)、(10A2B)各自為電阻變化元件。積和運(yùn)算器(1)具備：相對(duì)于多個(gè)可變輸入用積運(yùn)算元件輸入可變信號(hào)的可變輸入部(121A)、(121B)；相對(duì)于多個(gè)固定輸入用積運(yùn)算元件(10A2A)、(10A2B)與上述可變信號(hào)同步地輸入給定的信號(hào)的固定輸入部(122A)、(122B)。和運(yùn)算部(11)具備檢測來自多個(gè)可變輸入用積運(yùn)算元件(10A1A)、(10A1B)的輸出及來自多個(gè)固定輸入用積運(yùn)算元件(10A2A)、(10A2B)的輸出的合計(jì)值的輸出檢測器(11A)。

技術(shù)領(lǐng)域

本發(fā)明涉及積和運(yùn)算器、神經(jīng)形態(tài)器件及積和運(yùn)算器的使用方法。本申請(qǐng)基于2017年12月28日申請(qǐng)于日本的專利申請(qǐng)2017-254662號(hào)主張優(yōu)先權(quán)，并將其內(nèi)容在此引用。

背景技術(shù)

目前，已知有RRAM(注冊(cè)商標(biāo))基礎(chǔ)模擬神經(jīng)形態(tài)系統(tǒng)中的用于灰度圖像識(shí)別的最佳化的學(xué)習(xí)計(jì)劃(例如參照非專利文獻(xiàn)1)。該文獻(xiàn)中記載有模擬神經(jīng)形態(tài)系統(tǒng)以組裝的電阻式開關(guān)存儲(chǔ)陣列為基礎(chǔ)進(jìn)行開發(fā)的內(nèi)容。該文獻(xiàn)中，新的訓(xùn)練計(jì)劃為了通過利用段化的突觸的舉動(dòng)將模擬系統(tǒng)的性能最佳化而提出。另外，該文獻(xiàn)中，該計(jì)劃相對(duì)于灰度圖像識(shí)別適用。

另外，進(jìn)行著使用電阻變化元件的陣列來實(shí)現(xiàn)模仿神經(jīng)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)的研究。神經(jīng)形態(tài)器件(NMD)中，從前一階段向下一階段施加權(quán)重并進(jìn)行累加的積和運(yùn)算。因此，組合多個(gè)電阻連續(xù)地變化的電阻變化元件，以各自的電阻值為權(quán)重進(jìn)行相對(duì)于輸入信號(hào)的積運(yùn)算，并取得從其輸出的電流的總和，由此，進(jìn)行和運(yùn)算的各種各樣的類型的積和運(yùn)算器、及利用了該積和運(yùn)算器的NMD的開發(fā)不斷進(jìn)展。

在神經(jīng)網(wǎng)絡(luò)中廣泛使用的多層感知器由輸入層、一個(gè)以上的隱藏層、輸出層構(gòu)成，各層分別以適當(dāng)?shù)臋?quán)重(耦合的強(qiáng)度)和偏置項(xiàng)結(jié)合(例如，參照非專利文獻(xiàn)2)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：國際公開第2017/183573號(hào)

非專利文獻(xiàn)

非專利文獻(xiàn)1：ZheChen等著，“RRAM基礎(chǔ)模擬神經(jīng)形態(tài)系統(tǒng)中的用于灰度圖像識(shí)別的最佳化的學(xué)習(xí)計(jì)劃(OptimizedLearning?Scheme?for?Grayscale?Image?Recognitionin?a?RRAM?Based?Analog?Neuromorphic?System)”，2015年，IEEE，p.17.7.1-p.17.7.4

非專利文獻(xiàn)2：SebastianRaschka著，“Python機(jī)械學(xué)習(xí)編程”，Impress，p.328-330

發(fā)明內(nèi)容

發(fā)明所要解決的課題

但是，非專利文獻(xiàn)1中，未研究應(yīng)如何構(gòu)成偏置項(xiàng)用元件。根據(jù)偏置項(xiàng)用元件的結(jié)構(gòu)的不同，在偏置項(xiàng)用元件故障的情況下，神經(jīng)網(wǎng)絡(luò)的性能可能大幅降低。這是由于，通常“權(quán)重”對(duì)每個(gè)特定的耦合設(shè)定值，與之相對(duì)，偏置項(xiàng)為了使該層整體的值偏差而使用。

鑒于上述的問題點(diǎn)，本發(fā)明的目的在于，提供在應(yīng)用于神經(jīng)網(wǎng)絡(luò)的情況下，能夠抑制偏置項(xiàng)用元件的故障時(shí)的神經(jīng)網(wǎng)絡(luò)的性能降低的積和運(yùn)算器、神經(jīng)形態(tài)器件及積和運(yùn)算器的使用方法。

用于解決課題的方案