[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)計算方法和神經(jīng)網(wǎng)絡(luò)計算裝置

在審

• 申請?zhí)枺?/td>: 202010130671.5
• 申請日: 2020-02-28
• 公開（公告）號: CN113326914A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計）人: 蔣力;馬暢;崔曉松;陳云;廖健行
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京龍雙利達(dá)知識產(chǎn)權(quán)代理有限公司 11329
• 代理人: 時林;王君

一種神經(jīng)網(wǎng)絡(luò)計算方法、裝置及系統(tǒng)。根據(jù)該方法，在接收第一輸入數(shù)據(jù)后，可以根據(jù)計算陣列中存儲的第一權(quán)重對所述第一輸入數(shù)據(jù)進(jìn)行第一神經(jīng)網(wǎng)絡(luò)計算，其中，所述第一權(quán)重為神經(jīng)網(wǎng)絡(luò)系統(tǒng)中第一神經(jīng)網(wǎng)絡(luò)層的權(quán)重，所述第一權(quán)重包括多個權(quán)重值，所述多個權(quán)重值中的每個權(quán)重值均由權(quán)重相同的N位數(shù)表示，N大于或等于2。上述方法能夠減小神經(jīng)網(wǎng)絡(luò)計算結(jié)果的誤差。

技術(shù)領(lǐng)域

本申請涉及人工智能領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)計算方法和神經(jīng)網(wǎng)絡(luò)計算裝置。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)是實現(xiàn)人工智能的工具，其在處理輸入數(shù)據(jù)時具有計算量大、訪問內(nèi)存密集等特點。一種提高神經(jīng)網(wǎng)絡(luò)處理效率的方法是利用存算一體架構(gòu)部署神經(jīng)網(wǎng)絡(luò)，該方法利用神經(jīng)網(wǎng)絡(luò)在計算時權(quán)重值不變的特點，預(yù)先將神經(jīng)網(wǎng)絡(luò)權(quán)重寫入計算存儲介質(zhì)，同時完成了神經(jīng)網(wǎng)絡(luò)權(quán)重的存儲和計算，能夠降低數(shù)據(jù)交換和計算所帶來的時間消耗和能量消耗。

在存算一體架構(gòu)中，交叉陣列(crossbar)是實現(xiàn)存儲和計算的核心模塊。交叉陣列通常由非易失性存儲介質(zhì)構(gòu)建的乘加計算陣列，包含若干行和列，行也可以稱為字線(wordline)，列也可以稱為位線(bitline)，行和列的交叉點為存算單元，通常由非易失性存儲(non-volatile memory，NVM)器件構(gòu)成。在進(jìn)行神經(jīng)網(wǎng)絡(luò)計算時，權(quán)重值預(yù)先以電導(dǎo)的形式存儲在NVM器件中；當(dāng)輸入數(shù)據(jù)以電壓的形式進(jìn)入交叉陣列后，電壓經(jīng)過對應(yīng)的電導(dǎo)形成電流在同一列上匯聚，得到的電流總和可以用于表示輸入數(shù)據(jù)與神經(jīng)網(wǎng)絡(luò)權(quán)重的乘積的累加結(jié)果。

神經(jīng)網(wǎng)絡(luò)的權(quán)重值通常需要經(jīng)過二進(jìn)制編碼后存儲在NVM器件中，NVM器件以不同的電導(dǎo)值表示不同的權(quán)重值，由于NVM器件的制造工藝不夠理想，電導(dǎo)值無法精確地表示權(quán)重值，交叉陣列輸出的電流存在誤差，從而導(dǎo)致交叉陣列輸出的神經(jīng)網(wǎng)絡(luò)計算結(jié)果存在誤差。在制造工藝暫時無法得到改善的情況下，如何減小神經(jīng)網(wǎng)絡(luò)計算結(jié)果的誤差是當(dāng)前需要解決的問題。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N神經(jīng)網(wǎng)絡(luò)計算方法，能夠在制造工藝暫時無法得到改善的情況下減小神經(jīng)網(wǎng)絡(luò)計算結(jié)果的誤差。

第一方面，提供了一種神經(jīng)網(wǎng)絡(luò)計算方法，包括：接收第一輸入數(shù)據(jù)；根據(jù)計算陣列中存儲的第一權(quán)重對所述第一輸入數(shù)據(jù)進(jìn)行第一神經(jīng)網(wǎng)絡(luò)計算，其中，所述第一權(quán)重為神經(jīng)網(wǎng)絡(luò)系統(tǒng)中第一神經(jīng)網(wǎng)絡(luò)層的權(quán)重，所述第一權(quán)重包括多個權(quán)重值，所述多個權(quán)重值中的每個權(quán)重值均由權(quán)重相同的N位數(shù)表示，N大于或等于2。

使用非均勻編碼(如二進(jìn)制編碼)方法得到的權(quán)重值中，各個有效位的數(shù)值的權(quán)重不同，當(dāng)計算陣列的存算單元存在誤差時，權(quán)重較高的有效位(如最高有效位)的誤差會被放大，導(dǎo)致實際權(quán)重值嚴(yán)重偏離理論權(quán)重值。在本發(fā)明實施例提供的神經(jīng)網(wǎng)絡(luò)計算方法中，計算陣列中存儲的是使用均勻編碼方式獲得的權(quán)重值。在使用均勻編碼得到的權(quán)重值中，各個有效位的權(quán)重相同，相當(dāng)于不存在最高有效位和最低有效位，因此，即使計算陣列中的存算單元存在器件誤差，各個有效位的誤差不會被放大。因此，上述神經(jīng)網(wǎng)絡(luò)計算方法能夠減小神經(jīng)網(wǎng)絡(luò)計算結(jié)果的誤差。

可選地，所述多個權(quán)重值包括第一權(quán)重值，用于表示所述第一權(quán)重值的N位數(shù)包括第一數(shù)值和第二數(shù)值，所述第一數(shù)值大于所述第二數(shù)值，所述第一數(shù)值存儲于所述計算陣列的第一存算單元中，所述第二數(shù)值存儲于所述計算陣列的第二存算單元中，所述第一存算單元的器件誤差小于所述第二存算單元的器件誤差。實際應(yīng)用中，計算陣列中的存算單元可以包括具有集存儲和計算于一體的優(yōu)勢的阻變式隨機(jī)訪問存儲器(Resistiverandom-access memory，ReRAM)等新型的非易失性存儲器。

使用非均勻編碼(如二進(jìn)制編碼)方法得到的權(quán)重值中，因各個有效位的相對位置固定，可能導(dǎo)致權(quán)重較高的有效位(如最高有效位)被迫存儲在誤差較大的存算單元上，這會導(dǎo)致實際權(quán)重值嚴(yán)重偏離理論權(quán)重值，最終導(dǎo)致神經(jīng)網(wǎng)絡(luò)計算結(jié)果的誤差偏大。在使用均勻編碼方法得到的權(quán)重值中，由于各個有效位的權(quán)重相同，各個有效位可以靈活調(diào)整相對位置，可以在誤差較大的存算單元上存儲合適的數(shù)值，以減小存算單元的誤差對實際權(quán)重值的負(fù)面影響。