[發明專利]數據處理的方法、裝置、處理器和混合內存系統

在審

• 申請號: 202111160263.5
• 申請日: 2021-09-30
• 公開（公告）號: CN115904212A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 祝曉平;陳歡
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種應用于分級內存系統的數據處理方法，該分級內存系統包括不同類型的第一內存介質和第二內存介質，該方法包括：獲取該分級內存系統的數據分布；根據該數據分布確定數據遷移方式，數據遷移方式用于根據數據分布實現遷移數據集在不同內存介質之間的遷移處理；并根據上述遷移方式執行遷移數據集的所述遷移處理。通過在分級內存系統中實現分級，并結合數據屬性實現冷熱數據的分級存儲方案，既降低了內存的成本，又保證了數據處理的效率。

技術領域

本申請涉及計算機領域，具體涉及一種數據處理的方法、裝置、處理器和混合內存系統。

背景技術

隨著多核處理器的發展，單個處理器的核數逐漸增多，而處理器訪問內存的內存通道的數量卻未隨之增長，例如，單個中央處理器(central?processing?unit，CPU)的最大核數可達?64個，而內存通道數僅為8個，這就導致平均分配給每個處理器核的內存帶寬和內存容量隨著處理器核數的增長變得越來越小，使得內存性能嚴重限制CPU的性能發揮，內存墻(memory?wall)的問題日益突出。

為了解決內存墻的問題，提出了一種開放內存接口(open?memoryinterface，OMI)，移除CPU中雙倍數據速率控制器(double?data?rate?controller，DDRC)和雙倍數據速率物理層(double?data?rate?controller?physical?layer，DDR?PHY)，并在內存中實現開放內存接口、DDRC?和DDR?PHY的功能，上述內存條也稱為差分雙列直插式內存模組(dual?in-line?memory?module，?DDIMM)，此時，DDIMM通過開放內存接口與CPU連接。由于移除了CPU中DDRC和DDR?PHY，且OMI為基于串行總線接口實現的接口，這就增加了CPU中可用于擴展內存通道的引腳(PIN)的數量，例如，支持開放接口的單個POWER9可提供16個內存通道。

但是，上述方案中支持OMI的處理器僅支持動態隨機存取存儲器(dynamic?randomaccess?memory，DRAM)類型的內存顆粒，而該類型的內存顆粒的價格較高，對于大數據(例如，?Apache?Spark^TM)、內存型數據庫(例如，Redis)或云服務(例如，云基礎設施中采用內存超分配機制提供的虛擬機)等需要部署大容量內存的場景而言，成本更高。因此，如何提供一種低成本的內存墻的解決方案成為亟待解決的技術問題。

發明內容

本申請提供了一種數據處理的方法、裝置、處理器和混合內存系統，可以提供一種低成本的內存墻的解決方案

第一方面，提供一種應用于混合內存系統的方法，混合內存系統包括多種不同類型的內存介質，例如，DRAM類型的內存介質和SCM類型的內存介質，處理器可以獲取混合內存系統的數據分布；并根據上述數據分布確定數據遷移方式，而數據遷移方式用于根據所述數據分布實現遷移數據集在不同內存介質之間的遷移處理；最后，根據遷移方式執行遷移數據集的所述遷移處理。為了解決高成本的內存墻問題，本申請提出采用不同類型的內存介質構成混合內存系統，并基于數據在不同類型的內存介質之間的數據分布確定數據遷移方式，再結合不用類型的內存介質的屬性實現數據遷移，在滿足了處理器的算力需求的同時，使能低成本的內存介質，在保證數據處理時延的同時，降低整個混合內存系統的成本。

可選地，數據分布是指數據在不同類型的內存介質中存儲方式，具體可以采用以下兩種方式確定：

方式1，根據數據的冷熱程度確定數據分布，即按照數據的冷熱程度將其存儲在不同類型的存儲介質。

方式2，根據數據的冷熱程度和內存介質的物理屬性確定，其中，物理屬性包括時延、成本、容量和壽命中至少一種。