[發明專利]用于深度學習神經網絡的可配置模擬神經存儲器系統

有效

• 申請號: 201980055096.2
• 申請日: 2019-07-11
• 公開（公告）號: CN112585623B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: H·V·特蘭;V·蒂瓦里;M·雷頓;N·多
• 申請（專利權）人: 硅存儲技術股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;H01L29/423
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陳斌

本發明公開了在用于深度學習神經網絡的模擬神經存儲器系統中使用的可配置硬件系統的多個實施方案。可配置硬件系統內的可配置部件可包括矢量?矩陣乘法陣列、求和器電路、激活電路、輸入、參考設備、神經元和測試電路。這些設備可被配置為提供各層或不同尺寸的矢量?矩陣乘法陣列，使得可在具有不同要求的模擬神經存儲器系統中使用相同的硬件。

優先權聲明

本申請要求2018年8月27日提交并且名稱為“Configurable Analog NeuralMemory System for Deep Learning Neural Network(用于深度學習神經網絡的可配置模擬神經存儲器系統)”的美國臨時專利申請號62/723,360以及2018年11月6日提交并且名稱為“Configurable Analog Neural Memory System for Deep Learning Neural Network(用于深度學習神經網絡的可配置模擬神經存儲器系統)”的美國專利申請號16/182,237的優先權。

技術領域

本發明公開了在用于深度學習神經網絡的模擬神經存儲器系統中使用的可配置硬件系統的多個實施方案。

背景技術

人工神經網絡模擬生物神經網絡(動物的中樞神經系統，特別是大腦)，并且用于估計或近似可取決于大量輸入并且通常未知的函數。人工神經網絡通常包括互相交換消息的互連“神經元”層。

圖1示出了人工神經網絡，其中圓圈表示神經元的輸入或層。連接部(稱為突觸)用箭頭表示，并且具有可以根據經驗進行調整的數值權重。這使得神經網絡適應于輸入并且能夠學習。通常，神經網絡包括多個輸入的層。通常存在神經元的一個或多個中間層，以及提供神經網絡的輸出的神經元的輸出層。處于每一級別的神經元分別地或共同地根據從突觸所接收的數據作出決定。

在開發用于高性能信息處理的人工神經網絡方面的主要挑戰中的一個挑戰是缺乏足夠的硬件技術。實際上，實際神經網絡依賴于大量的突觸，從而實現神經元之間的高連通性，即非常高的計算并行性。原則上，此類復雜性可通過數字超級計算機或專用圖形處理單元集群來實現。然而，相比于生物網絡，這些方法除了高成本之外，能量效率也很普通，生物網絡主要由于其執行低精度的模擬計算而消耗更少的能量。CMOS模擬電路已被用于人工神經網絡，但由于給定大量的神經元和突觸，大多數CMOS實現的突觸都過于龐大。

申請人先前在美國專利申請第15/594,439號中公開了一種利用一個或多個非易失性存儲器陣列作為突觸的人工(模擬)神經網絡，該專利申請以引用方式并入本文。非易失性存儲器陣列作為模擬神經形態存儲器操作。神經網絡設備包括被配置成接收第一多個輸入并從其生成第一多個輸出的第一多個突觸，以及被配置成接收第一多個輸出的第一多個神經元。第一多個突觸包括多個存儲器單元，其中存儲器單元中的每個存儲器單元包括：形成于半導體襯底中的間隔開的源極區和漏極區，其中溝道區在源極區和漏極區之間延伸；設置在溝道區的第一部分上方并且與第一部分絕緣的浮柵；以及設置在溝道區的第二部分上方并且與第二部分絕緣的非浮柵。多個存儲器單元中的每個存儲器單元被配置成存儲與浮柵上的多個電子相對應的權重值。多個存儲器單元被配置成將第一多個輸入乘以所存儲的權重值以生成第一多個輸出。

必須擦除和編程在模擬神經形態存儲器系統中使用的每個非易失性存儲器單元，以在浮柵中保持非常特定且精確的電荷量(即電子數量)。例如，每個浮柵必須保持N個不同值中的一個，其中N是可由每個單元指示的不同權重的數量。N的示例包括16、32、64、128和256。

實現模擬神經存儲器系統的一個挑戰是，需要包含不同尺寸的陣列的各層。不同尺寸的陣列對于陣列外部的支持電路具有不同的需求。為每個系統提供定制硬件可能既昂貴又費時。

所需的是一種用于模擬神經存儲器系統的可配置架構，該可配置架構可提供各層或不同尺寸的矢量-矩陣乘法陣列，以及適當尺寸的支持電路，使得可在具有不同要求的模擬神經存儲器系統中使用相同的硬件。