[發明專利]向外擴展高帶寬存儲系統

在審

• 申請號: 201910609176.X
• 申請日: 2019-07-08
• 公開（公告）號: CN110928810A
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 鄭宏忠;K.T.馬拉迪;牛迪民;P.古
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06F13/16
• 分類號: G06F13/16
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張泓

高帶寬存儲器(HBM)系統包括第一HBM+卡。第一HBM+卡包括多個HBM+立方體。每個HBM+立方體具有邏輯裸芯和存儲器裸芯。第一HBM+卡還包括：HBM+卡控制器，耦接到多個HBM+立方體中的每一個并且被配置為與主機接口；引腳連接，被配置為連接到主機，以及結構連接，被配置為連接到至少一個HBM+卡。

對相關申請交叉引用

本專利申請要求2018年9月20日提交的題為“SCALE-OUT HIGH BANDWIDTH MEMORYSYSTEM”的美國臨時專利申請序列號62/733,965的權益，其全部內容通過引用明確地并入本文

技術領域

本發明涉及一種向外擴展高帶寬存儲(high bandwidth memory，HBM)系統。

背景技術

多年來，存儲行業一直在嘗試將計算功能移得更靠近存儲。存儲內計算具有減少由存儲和處理之間的數據移動引起的各種數據總線(例如，PCIe總線)上消耗的帶寬的優點。隨著存儲器大小的增加，各種總線上的流量變得越來越擁擠。總線帶寬瓶頸有時會導致嚴重的性能下降。因此，存儲內計算變得越來越重要，并且由于存儲內計算能力的提高，存儲器內引擎的數量一直在增長。例如，幾乎任何在DRAM中存儲大型數據集的應用程序都可以從使用存儲內計算中受益，以防止出現總線瓶頸。數據庫和數據處理應用程序(諸如Impala和Spark)現在包括存儲內計算功能，并且許多深度學習應用程序也在使用存儲內計算。

在過去幾年中，人工智能(AI)的使用急劇增加。AI已經成為諸如圖像分類、語音識別、媒體分析、健康護理、自動機器、智能助理等領域中常用的。使用AI通常需要使用大型數據集(例如，來自數據庫、傳感器、圖像等)并且使用先進的算法，類似地需要使用萬億次計算能力的高性能計算。為了便于使用高性能計算，已引入高帶寬存儲器來為并行加速器提供高帶寬。

當前的高帶寬存儲器(HBM)為存儲器提供高帶寬連接(例如，高達約1TB/s)。典型的HBM，每個主機ASIC、GPU或FPGA包括4到8個DRAM堆棧，效率通常是GDDR5RAM的兩倍。

許多基于GPU的系統使用多個GPU來擴展存儲器容量和帶寬，以便運行具有大批量大小的深度神經網絡應用。由于SOC PIN限制，今天的GPU/ASIC系統通常被限制為4個HBM，每個HBM最多只有8個DRAM堆棧。因此，需要新的HBM系統來促進更大的存儲器和帶寬容量。

發明內容

本公開的一些實施例提供高帶寬存儲器(high bandwidth memory，HBM)系統。在各種實施例中，HBM系統包括第一HBM+卡。在各種實施例中，第一HBM+卡包括：多個HBM+立方體，其中，每個HBM+立方體包括邏輯裸芯和存儲器裸芯；HBM+卡控制器，耦接到多個HBM+立方體中的每一個并且被配置為與主機接口；引腳連接，被配置為連接到主機；以及結構連接，被配置為連接到至少一個HBM+卡。

在各種實施例中，邏輯裸芯包括加速器邏輯，被配置為：從HBM+卡控制器接收指令；將向量輸入到向量引擎；執行融合乘加浮點運算；以及將輸出返回到累加器。

在各種實施例中，邏輯裸芯包括加速器邏輯，該加速器邏輯具有：控制引擎；緩沖器；指令解碼器；以及通用矩陣乘法(GEMM)引擎。

在各種實施例中，控制引擎被配置為用作路由控制器、高帶寬存儲器控制器、直接存儲器存取(DMA)引擎、功率控制器、多模型自適應控制器(MMAC)調度器。

在各種實施例中，GEMM引擎包括：密集多模型自適應控制器(MMAC)；稀疏MMAC；以及稀疏-密集多路復用器，被配置為將稀疏數據路由到稀疏MMAC，并將密集數據路由到密集MMAC。

在各種實施例中，存儲器裸芯包括至少一個DRAM塊。

在各種實施例中，邏輯裸芯和存儲器裸芯是三維堆疊的。