[發(fā)明專利]3D集成超高帶寬存儲(chǔ)器

在審

• 申請(qǐng)?zhí)枺?/td>: 202080035818.0
• 申請(qǐng)日: 2020-05-14
• 公開(kāi)（公告）號(hào): CN113826202A
• 公開(kāi)（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: R·K·多卡尼亞;S·馬尼帕特魯尼;A·馬圖瑞亞;D·奧勞斯比坎
• 申請(qǐng)（專利權(quán)）人: 開(kāi)普勒計(jì)算公司
• 主分類號(hào): H01L25/18
• 分類號(hào): H01L25/18;H01L23/48;H01L21/60;G06F13/16
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 劉瑜

一種改進(jìn)AI處理系統(tǒng)的性能的封裝技術(shù)。IC封裝包括：襯底；在襯底上的第一管芯和堆疊在第一管芯上的第二管芯。第一管芯包括存儲(chǔ)器并且第二管芯包括計(jì)算邏輯。第一管芯包括具有比特單元的DRAM。第一管芯的存儲(chǔ)器可以存儲(chǔ)輸入數(shù)據(jù)和權(quán)重因子。第二管芯的計(jì)算邏輯耦合到第一管芯的存儲(chǔ)器。在一個(gè)示例中，第二管芯是推理管芯，其將已訓(xùn)練模型的固定權(quán)重應(yīng)用于輸入數(shù)據(jù)以生成輸出。在一個(gè)示例中，第二管芯是使得能夠?qū)W習(xí)權(quán)重的訓(xùn)練管芯。通過(guò)將第一管芯放置在第二管芯下方來(lái)改變超高帶寬。兩個(gè)管芯是經(jīng)由微凸塊而晶片對(duì)晶片接合或耦合的。

優(yōu)先權(quán)要求

本申請(qǐng)要求享有于2019年5月31日提交的題為“3D INTEGRATED ULTRAHIGH-BANDWIDTH MEMORY”的美國(guó)專利申請(qǐng)第16,428,885號(hào)的優(yōu)先權(quán)的權(quán)益，該申請(qǐng)通過(guò)引用整體并入。

背景技術(shù)

人工智能(AI)是硬件和軟件計(jì)算的寬泛領(lǐng)域，其中數(shù)據(jù)被分析、分類，然后關(guān)于數(shù)據(jù)做出決策。例如，隨著時(shí)間的推移使用大量數(shù)據(jù)對(duì)描述針對(duì)某個(gè)屬性或多個(gè)屬性的數(shù)據(jù)分類的模型進(jìn)行訓(xùn)練。訓(xùn)練模型的過(guò)程需要大量數(shù)據(jù)和處理能力來(lái)分析數(shù)據(jù)。在訓(xùn)練模型時(shí)，基于模型的輸出修改權(quán)重或權(quán)重因子。一旦通過(guò)反復(fù)分析數(shù)據(jù)和修改權(quán)重以獲得預(yù)期結(jié)果來(lái)將模型的權(quán)重計(jì)算到高置信水平(例如，95％或更高)，則該模型被視為“已訓(xùn)練”。然后使用具有固定權(quán)重的該已訓(xùn)練模型來(lái)關(guān)于新數(shù)據(jù)做出決策。訓(xùn)練模型然后將已訓(xùn)練模型應(yīng)用于新數(shù)據(jù)是硬件密集型活動(dòng)。人們希望減少計(jì)算訓(xùn)練模型和使用訓(xùn)練模型的延遲，并且降低此類AI處理器系統(tǒng)的功耗。

這里提供的背景技術(shù)描述是出于概括地呈現(xiàn)本公開(kāi)的上下文的目的。除非在此另有說(shuō)明，否則本節(jié)中描述的材料不是本申請(qǐng)中權(quán)利要求的現(xiàn)有技術(shù)，并且不因包含在本節(jié)中而承認(rèn)為現(xiàn)有技術(shù)。

附圖說(shuō)明

根據(jù)下面給出的詳細(xì)描述以及本公開(kāi)的各個(gè)實(shí)施例的附圖，將更全面地理解本公開(kāi)的實(shí)施例，然而，不應(yīng)認(rèn)為將本公開(kāi)限制為特定實(shí)施例，而是僅用于解釋和理解。

圖1示出了根據(jù)一些實(shí)施例的包括位于存儲(chǔ)器管芯頂部的計(jì)算管芯的人工智能(AI)機(jī)器的高級(jí)別架構(gòu)。

圖2示出了根據(jù)一些實(shí)施例的包括位于存儲(chǔ)器管芯頂部的計(jì)算管芯的計(jì)算塊的架構(gòu)。

圖3A示出了封裝的橫截面，其中計(jì)算管芯在存儲(chǔ)器管芯下方，導(dǎo)致計(jì)算管芯的有限I/O(輸入-輸出)帶寬和熱問(wèn)題。

圖3B示出了封裝的橫截面，其中計(jì)算管芯在存儲(chǔ)器管芯下方，其中計(jì)算管芯穿孔有高密度硅通孔(TSV)以與計(jì)算管芯和存儲(chǔ)器管芯之間的凸塊(bump)耦合。

圖3C示出了封裝的橫截面，其中高帶寬存儲(chǔ)器(HBM)位于計(jì)算管芯的任一側(cè)，由于針對(duì)I/O數(shù)量的外圍約束而導(dǎo)致有限的I/O帶寬。

圖4A示出了根據(jù)一些實(shí)施例的包括計(jì)算塊的封裝的橫截面，該計(jì)算塊包括在動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)管芯上方的計(jì)算管芯(例如，推理邏輯管芯)。

圖4B示出了根據(jù)一些實(shí)施例的包括計(jì)算塊的封裝的橫截面，該計(jì)算塊包括在存儲(chǔ)器管芯的堆疊和控制器邏輯管芯上方的計(jì)算管芯(例如，推理邏輯管芯)。

圖4C示出了根據(jù)一些實(shí)施例的包括計(jì)算塊的封裝的橫截面，該計(jì)算塊包括還用作中介層的存儲(chǔ)器(例如，DRAM)上的計(jì)算管芯。

圖5A示出了根據(jù)一些實(shí)施例的包括AI機(jī)器的封裝的橫截面，該AI機(jī)器包括具有計(jì)算塊的片上系統(tǒng)(SOC)，該計(jì)算塊包括在DRAM上的計(jì)算管芯。

圖5B示出了根據(jù)一些實(shí)施例的包括AI機(jī)器的封裝的橫截面，該AI機(jī)器包括具有計(jì)算塊的SOC，該計(jì)算塊包括在DRAM上的計(jì)算管芯、處理器和固態(tài)存儲(chǔ)器。

圖5C示出了根據(jù)一些實(shí)施例的電路板上的多個(gè)封裝的橫截面，其中封裝中的一個(gè)封裝包括在存儲(chǔ)器管芯上的計(jì)算管芯，而封裝中的另一個(gè)封裝包括圖形處理器單元。