[發明專利]MCM-GPU自適應末級高速緩存結構及其緩存切換方法

在審

• 申請號: 202211725803.4
• 申請日: 2022-12-30
• 公開（公告）號: CN116257467A
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 趙夏;王會權;張光達;陳任之;萬眾;張鴻云;王璐;方健
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院
• 主分類號: G06F12/084
• 分類號: G06F12/084;G06F12/0842;G06F15/78;G06F15/16;G06F9/445
• 代理公司: 北京奧文知識產權代理事務所(普通合伙) 11534
• 代理人: 張文;鄭澤祥

本發明公開了一種MCM?GPU自適應末級高速緩存結構，設置于GPU模塊中，包括：Tag?Array和Date?Array，Data?Array用于儲存數據，Tag?Array用于查看地址對應的數據是否在緩存中，還包括：本地訪存隊列，用于存儲當前GPU模塊的訪存請求；遠端訪存隊列，用于存儲其他GPU模塊的訪存請求；LLC架構改變標記位寄存器，用于存儲指示當前的末級高速緩存的架構組織方式是否需要改變的LLC架構改變標記位；LLC架構標記位寄存器，用于存儲指示將當前的末級高速緩存切換為私有末級高速緩存設計或共享末級高速緩存設計的LLC架構標記位。本發明能夠支持共享末級高速緩存和私有末級高速緩存的動態切換，能夠根據程序運行時的配置自適應地選擇末級高速緩存架構組織方式，滿足程序訪存需求，提高MCM?GPU的性能。

技術領域

本發明涉及GPU技術領域，尤其涉及一種MCM-GPU自適應末級高速緩存結構及其緩存切換方法。

背景技術

隨著GPU(Graphics?Processing?Unit，圖形處理器)技術的不斷發展，GPU的核數不斷增多，計算能力不斷增加，例如從Fermi到Volta架構，GPU中流處理器(StreamingMultiprocessor，SM)的數目從14增長到80。由于制造工藝和芯片尺寸的限制，在單一晶片上集成數量眾多的SM變得日益困難，為了進一步提高GPU的性能，并避免芯片尺寸的約束，目前有研究提出了一種多芯片模塊GPU(MCM-GPU)，MCM-GPU通過采用多模塊的封裝模式，把幾個GPU模塊封裝在一起形成一個新的芯片，根據封裝技術的不同，多個GPU模塊間通過多層互連基板走線、interposer層走線等技術進行通信，每個GPU模塊連接有DRAM(DynamicRandom?Access?Memory，動態隨機存取存儲器)，與GPU模塊直接連接的DRAM為該GPU模塊的本地存儲空間，與其他GPU模塊直接連接的DRAM為該GPU模塊的遠端存儲空間。

參考圖1，圖1為示例給出的一種MCM-GPU的結構示意圖，在MCM-GPU中，對于一個GPU模塊，其末級高速緩存(Last-level?cache，LLC)通常使用兩種架構組織方式，包括共享末級高速緩存設計和私有末級高速緩存設計。其中，在共享末級高速緩存設計中，不同GPU模塊的流處理器使用同一個末級高速緩存，同一個數據在末級高速緩存中只存在一份拷貝，能夠極大提高末級高速緩存的命中率。在私有末級高速緩存設計中，私有末級高速緩存將每個GPU模塊上的LLC設置為該GPU模塊的私有LLC，該GPU模塊中的流處理器發出的訪存請求首先訪問該GPU模塊的LLC，如果命中則返回數據，如果失效則去訪問相應的存儲空間，相比于共享末級高速緩存架構，私有末級高速緩存架構可以減少不同GPU模塊間的通信。

然而，使用共享末級高速緩存雖然能夠節約存儲空間，但是如果某一個GPU模塊的流處理器需要訪問其它GPU模塊的末級高速緩存中的數據，則這些請求都需要通過GPU模塊間的互聯網絡到達相應GPU模塊的末級高速緩存，此時大量并行的訪存請求將會產生激烈的片上網絡沖突，導致MCM-GPU性能下降。使用私有末級高速緩存需要把數據副本保存在本地末級高速緩存以減少不同GPU模塊之間的通信，但是如果程序具有較大的共享數據集，數量眾多的數據副本會帶來末級高速緩存空間的浪費，進而產生極高的緩存失效率，而大量的緩存失效請求需要通過GPU模塊間的互聯網絡訪問相應GPU模塊的存儲空間，一方面會導致GPU模塊間互聯網絡的沖突，另一方面會增加訪存的壓力，導致MCM-GPU性能下降。

發明內容

為解決上述現有技術中存在的部分或全部技術問題，本發明提供一種MCM-GPU自適應末級高速緩存結構及其緩存切換方法。

本發明的技術方案如下：

第一方面，提供了一種MCM-GPU自適應末級高速緩存結構，設置于MCM-GPU的GPU模塊中，包括：Tag?Array和Date?Array，Data?Array用于儲存數據，Tag?Array用于查看地址對應的數據是否在緩存中，還包括：