[發明專利]基于內存區域的內存分配方法和設備以及訪問方法和設備

有效

• 申請號: 202110059908.X
• 申請日: 2021-01-18
• 公開（公告）號: CN112783648B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 上海壁仞智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F12/1009
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

本發明提供了一種基于內存區域的內存分配方法和設備以及內存訪問方法和設備。該內存分配方法包括：接收來自第一用戶的內存分配請求，內存分配請求包括所需的內存單元的數量和內存區域類型，其中內存區域類型指示內存系統中的內存區域的寬度，內存區域的寬度以內存區域在寬度方向上跨越的內存塊的數量來指示；基于內存分配表為內存分配請求分配與內存分配請求中的內存區域類型匹配的內存單元，其中內存分配表包括已使用內存表、空閑內存表和已指定內存表，已指定內存表指示已被指定了內存區域類型但尚未分配來存儲數據的內存單元的列表；以及基于所分配的內存單元的虛擬內存地址和內存區域類型更新內存分配表。

技術領域

本發明概括而言涉及分布式計算領域，更具體地，涉及一種基于內存區域的內存分配方法和設備以及基于內存區域的內存訪問方法和設備。

背景技術

在許多需要快速執行大量運算的領域，已經廣泛使用了多處理器系統。一種典型的多處理器系統包括處理器系統和內存系統，處理器系統可以包括多個處理器，內存系統可以包括多個內存塊。多個處理器和多個內存塊可以通過由互連設備和物理傳輸鏈路構成的互連網絡連接在一起。多個處理器可以對各個內存塊中的數據進行訪問。

圖1示出了一種多處理器系統1的示例性拓撲結構的簡化示意圖。如圖1中所示，多處理器系統1包括4個處理器112、114、116和118，2個內存塊132和134，它們通過具有4個互連設備122、124、126和128以及10條物理鏈路140至149的互連網絡連接在一起。注意，圖1所示的多處理器系統1僅僅是示例性簡化的，實際應用的多處理器系統通常包含更多的處理器和內存塊。

由于多個處理器和多個內存塊的分布式性質，不同處理器訪問不同內存塊中的數據將導致互連網絡上的數據流量不同。例如，如圖1中所示，處理器114訪問內存塊132時數據需要通過3個互連設備和4條物理鏈路傳輸，而處理器118訪問內存塊134時數據僅需要通過1個互連設備和2條物理鏈路傳輸。因此，需要考慮如何平衡互連網絡上的流量。例如，如果所有4個處理器112、114、116和118同時訪問內存塊132，則物理鏈路144的擁塞程度將大于物理鏈路145。

由于互連網絡上的流量擁塞可能會嚴重影響系統性能，因此優化數據在內存系統的多個分布式內存塊中的放置以最小化和平衡互連網絡上的數據流量非常重要。當前存在著兩種常見的內存管理方式。

一種常見的內存管理方式稱為UMA(一致內存訪問)，其中諸如表格之類的數據結構均勻地分布在所有內存塊中。例如，具有偶數內存地址的數據(每個地址代表固定數量的內存空間，例如32個字節)被放置在內存塊132中，而具有奇數內存地址的數據被放置在內存塊134中。對于具有由所有處理器共享并平均訪問的大數據結構的應用程序，UMA方式有助于平衡互連網絡上的流量，通常可以實現良好的系統性能。然而，對于僅由一個或幾個處理器訪問的數據結構，將這樣的數據結構分布在所有內存塊中比將其放置在靠近訪問處理器的內存塊中會產生更多的流量。

另一種常見的內存管理方式稱為NUMA(非一致內存訪問)，其中，每個數據結構(例如表格)都放置在彼此靠近的單個或少數幾個內存塊中。對于具有只由一個或幾個處理器訪問的大數據結構的應用程序，如果將該數據結構放置在靠近訪問它們的處理器的內存塊中，則NUMA有助于減少互連網絡上的流量。但是，對于由所有處理器都訪問的數據結構，將其放置在一個或幾個內存塊中可能會在互連網絡上引起更多且不平衡的流量。

對于許多應用程序而言，數據訪問模式是混合但可預測的。一個例子是神經網絡的數據并行處理，其中神經網絡的權重參數由所有處理器平均共享和訪問，而激活數據由每個單獨的處理器生成和訪問。因此，權重參數最好用UMA模式訪問，而激活數據最好用NUMA模式訪問。然而，目前還沒有能夠同時滿足不同類型數據的訪問需求的內存管理方法。

發明內容

針對上述問題，本發明提供了一種基于內存區域的內存分配和訪問方法，其通過構建大小靈活的內存區域來滿足不同類型數據的存儲和訪問需求。