[發明專利]集成閃存的高帶寬存儲器設備

有效

• 申請號: 201810070897.3
• 申請日: 2018-01-24
• 公開（公告）號: CN108459974B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 克里希納·T·馬蘭迪;鄭宏忠
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06F12/0895
• 分類號: G06F12/0895
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 倪斌

根據本發明的一些實施例，提供了一種用于具有主機處理器的處理設備的混合高速緩存存儲器，所述混合高速緩存存儲器包括：高帶寬存儲器(HBM)，被配置為存儲主機數據；在同一封裝中與HBM物理集成的非易失性存儲器(NVM)，被配置為存儲HBM處的主機數據的副本；以及高速緩存控制器，被配置為與主機處理器進行雙向通信，并且管理HBM和NVM之間的數據傳輸，并且響應于從主機處理器接收到的命令來管理混合高速緩存存儲器和主機處理器之間的數據傳輸。

相關申請的交叉引用

本申請要求于2017年1月25日遞交的美國臨時申請No.62/450,507的權益和優先權，其全部內容以引用方式并入于此。

技術領域

本發明的各方面涉及數據處理和保留系統的領域。

背景技術

像深度神經網絡這樣的新興應用需要大量高帶寬存儲器來訓練不同的數據集和進行高精度學習。神經網絡變得日益復雜和深入，這導致大量增加了需要在分頁存儲器中保持的中間數據集。最近的方法提出使用數百到數千臺機器來訓練具有數十層、數百萬甚至數十億個連接的網絡。與在更傳統的中央處理單元(CPU)核上相比，這些新興應用所涉及的計算通常可以在圖形處理單元(GPU)核上更高效地執行。然而，主機也可以是具有專用本地存儲器的現場可編程門陣列(FPGA)或專用集成電路(ASIC)。由于數據移動開銷、用于數據加載/卸載的計算停滯、有限的總線帶寬以及由于硅通孔(TSV)封裝約束所導致的有限的GPU存儲器，在單個GPU上訓練這樣的網絡可能太慢(例如，可能需要幾周或幾個月)，并且在分布式GPU集合上的訓練可能是低效的。

在本背景技術部分中公開的上述信息僅用于增強對本發明背景的理解，因此可以包含不形成本領域普通技術人員已知的現有技術的信息。

發明內容

本發明實施例的多個方面涉及具有混合高速緩存存儲器的處理設備的架構，所述混合高速緩存存儲器將高帶寬存儲器(HBM)與高容量非易失性存儲器管芯(例如，閃存管芯)集成以實現高帶寬和高容量。所述處理設備利用HBM的邏輯管芯上或混合高速緩存存儲器的模塊中的高速緩存控制器來高效地執行數據遷移。

根據本發明的一些實施例，提供了一種用于具有主機處理器的處理設備的混合高速緩存存儲器，所述混合高速緩存存儲器包括：高帶寬存儲器(HBM)，被配置為存儲主機數據；在同一封裝中與HBM物理集成的非易失性存儲器(NVM)，被配置為存儲HBM處的主機數據的副本；以及高速緩存控制器，被配置為與主機處理器進行雙向通信，并且管理HBM和NVM之間的數據傳輸，并且響應于從主機處理器接收到的命令來管理混合高速緩存存儲器和主機處理器之間的數據傳輸。

根據一些示例實施例，響應于從主機處理器接收到寫入命令，高速緩存控制器被配置為：確定HBM內有足夠的空間來存儲輸入的主機數據；響應于所述確定，將輸入的主機數據存儲在HBM中；以及將存儲的主機數據復制到NVM。

根據一些示例實施例，響應于從主機處理器接收到寫入命令，高速緩存控制器被配置為：確定HBM內沒有足夠的空間來存儲輸入的主機數據；響應于所述確定，刪除存儲在HBM處的最早訪問的數據，以便在HBM內創建足夠的空間來容納輸入的主機數據的存儲；將輸入的主機數據存儲在HBM中；以及將存儲的主機數據復制到NVM。

根據一些示例實施例，高速緩存控制器被配置為當不參與為主機命令服務時復制存儲的主機數據。

根據一些示例實施例，高速緩存控制器被配置為與將輸入的主機數據存儲在HBM中同時地將存儲的主機數據復制到NVM。

根據一些示例實施例，高速緩存控制器與HBM和NVM集成在同一封裝內。

根據一些示例實施例，主機處理器在所述封裝外部。

根據一些示例實施例，所述HBM包括一個或多個HBM管芯堆疊，所述一個或多個堆疊中的每一個的HBM管芯通過多個硅通孔(TSV)電耦接在一起。