[發(fā)明專利]一種支持分區(qū)并發(fā)訪問的軟硬件協(xié)同存儲器組織方法及裝置

在審

• 申請?zhí)枺?/td>: 202211059381.1
• 申請日: 2022-08-31
• 公開（公告）號: CN115357195A
• 公開（公告）日: 2022-11-18
• 發(fā)明（設(shè)計）人: 陳芳園;李宏亮;趙冠一;馬亞楠;過鋒;呂暉
• 申請（專利權(quán)）人: 無錫江南計算技術(shù)研究所
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 浙江千克知識產(chǎn)權(quán)代理有限公司 33246
• 代理人: 汪丹琪

本發(fā)明提供一種支持分區(qū)并發(fā)訪問的軟硬件協(xié)同存儲器組織方法及裝置方法及裝置，屬于存儲器設(shè)計技術(shù)領(lǐng)域。該方法包括如下步驟：S1：將存儲器基于預(yù)設(shè)區(qū)分方式從邏輯上劃分為地址連續(xù)的多個可獨立訪問的存儲體；S2：獲取來自多個計算單元/請求源發(fā)送的多個請求信息，基于請求信息和邏輯劃分模式匹配對應(yīng)的存儲體，將每個請求信息分別發(fā)送至對應(yīng)的存儲體；S3：接收對應(yīng)的計算單元/請求源的請求信息，基于請求信息和邏輯劃分模式獲取該計算單元/請求源相匹配的存儲體，將該存儲體的訪存請求數(shù)據(jù)發(fā)送至對應(yīng)的計算單元/請求源。本發(fā)明只需配備開銷較小的存儲訪問模塊和數(shù)據(jù)選擇模塊即可實現(xiàn)高并行度的訪問處理，設(shè)計復雜度低，實現(xiàn)開銷小。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲器設(shè)計技術(shù)領(lǐng)域，具體而言，涉及一種支持分區(qū)并發(fā)訪問的軟硬件協(xié)同存儲器組織方法及裝置。

背景技術(shù)

隨著科學技術(shù)的發(fā)展和應(yīng)用需求的激增，處理器需要面向不同應(yīng)用領(lǐng)域的高性能需求。在片上集成大量的計算單元成為當前提高單芯片計算性能的主要方式，科學計算和人工智能領(lǐng)域均涌現(xiàn)出了各種集成上千個計算單元的高性能處理器或加速器。比如NVIDIA最新的A100加速器集成了6912個CUDA計算核，AMD的MI100集成了7680個計算核心。這些處理器或加速器提供了高度并行的高性能算力，但是也對訪存提出了更高的要求：高度并行的計算單元會產(chǎn)生高并行度的訪存，對訪存的需求急劇增大，訪存瓶頸日益加劇。提升片上存儲器的可訪存并行度是解決這一挑戰(zhàn)的方法之一。

目前的高性能處理器設(shè)計中可以提供大容量的片上存儲器以提高數(shù)據(jù)訪問的時間局部性和空間局部性，但是卻無法解決存儲器訪問的高并行度問題。現(xiàn)有的技術(shù)方案基本上分為三種：

1）單端口存儲器設(shè)計：常見的存儲器設(shè)計為單端口存儲器，同一時間只能允許一個訪存請求執(zhí)行；

2）多端口存儲器設(shè)計：存儲器設(shè)計為多端口，例如多個讀寫端口的存儲器。多個計算單元/請求源可以通過多端口同時訪問該存儲器；

3）多存儲器設(shè)計：設(shè)計多個存儲器，配備多套訪問管理部件。多個計算單元/請求源可以同時訪問各自對應(yīng)的存儲器。

現(xiàn)有存儲器的設(shè)計雖然可以解決部分并發(fā)訪問的問題，但是也存在著一定的缺點：

1）單端口存儲器設(shè)計：單端口存儲器設(shè)計方法在同一時間只能允許一個訪存請求執(zhí)行，無法滿足多個計算單元/請求源的高并行度訪問需求，多個計算單元/請求源只能串行訪問存儲器，性能低，應(yīng)用程序執(zhí)行延遲大；

2）多端口存儲器設(shè)計：多端口存儲器設(shè)計雖然可以解決一定的并行度問題，但是多端口的實現(xiàn)導致存儲器開銷較大，并且需要程序員或者后端實現(xiàn)保證多端口對同一訪存地址訪問的讀寫一致性問題，增加了設(shè)計和實現(xiàn)復雜性；

3）多存儲器設(shè)計：多個存儲器的設(shè)計可以從根本上解決高并行度的問題，但是需要配備多套存儲管理部件，開銷大，增加了設(shè)計和實現(xiàn)的復雜性。同時，這種設(shè)計方法數(shù)據(jù)交互性差，程序員需要明確不同數(shù)據(jù)所在的存儲器，增加了編程的復雜性。

發(fā)明內(nèi)容

為了解決上述問題，本申請實施例提供了一種支持分區(qū)并發(fā)訪問的軟硬件協(xié)同存儲器組織方法及裝置。

第一方面，本申請實時例提供了一種支持分區(qū)并發(fā)訪問的軟硬件協(xié)同存儲器組織方法，包括如下步驟：

S1：將存儲器基于預(yù)設(shè)區(qū)分方式從邏輯上劃分為地址連續(xù)的多個可獨立訪問的存儲體；

S2：獲取來自多個計算單元/請求源發(fā)送的多個請求信息，基于請求信息和邏輯劃分模式匹配對應(yīng)的存儲體，將每個請求信息分別發(fā)送至對應(yīng)的存儲體；

S3：接收對應(yīng)的計算單元/請求源的請求信息，基于請求信息和邏輯劃分模式獲取該計算單元/請求源相匹配的存儲體，將該存儲體的訪存請求數(shù)據(jù)發(fā)送至對應(yīng)的計算單元/請求源。

優(yōu)選的，步驟S1中具體包括：

步驟S11A和步驟S11B兩個中的一個；

其中S11A：獲取存儲器上多個連續(xù)的訪存地址，基于訪存地址的高位對多個訪存地址分別進行區(qū)分；