[發(fā)明專利]一種內存預取方法、裝置及介質

在審

• 申請?zhí)枺?/td>: 202210856823.9
• 申請日: 2022-07-20
• 公開（公告）號: CN115203073A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設計）人: 譚玉娟;張智超;馬竹琳;劉鐸
• 申請（專利權）人: 重慶大學
• 主分類號: G06F12/0862
• 分類號: G06F12/0862;G06F12/06;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 李妙芬

本發(fā)明公開一種內存預取方法、裝置及介質，其通過獲取混合內存中歷史一段時間內的I/O訪問記錄，并將相鄰的訪問記錄的地址所在頁面進行差值計算，得到訪問頁面差值序列和訪問類型序列，利用訪問頁面差值序列和訪問類型序列對引入注意力機制的TCN模型進行訓練，得到內存訪問預測模型，由于本發(fā)明訓練模型時是采用地址頁面差值進行訓練，能減少預測的種類，從而減少模型訓練的難度和預測的難度，模型更加穩(wěn)定且計算開銷較少。另一方面，本申發(fā)明通過引入注意力機制，能夠充分挖掘訪問內存訪問序列各個時間步長的相關性，從而能夠提高預測的準確率。

技術領域

本發(fā)明涉及數據存儲技術領域，尤其涉及一種內存預取方法、裝置及介質。

背景技術

在大數據和云計算的時代背景下，指數級增長的數據量對存儲系統的容量、訪問效率和運行功耗的要求不斷在提升。傳統的存儲體系架構都是使用動態(tài)隨機存儲器(DRAM)作為主存。然而，DRAM存在三個方面的問題：首先，由于當前的半導體工藝技術以及成本方面的考慮，DRAM的介質密度和容量很難進一步提升，使得其應對大量數據訪問時面臨瓶頸；其次，由于在運行過程中需要維持動態(tài)刷新，DRAM的閑時功耗非常高，容易造成發(fā)熱等問題；再者，DRAM的存儲介質是易失性的，意味著其斷電就丟失數據，因此需要及時將臟數據回寫到外存中，從而導致存儲系統的I/O操作效率降低。

NVM是一種可字節(jié)尋址、具有非易失性的存儲介質，相當于把內存和外存的優(yōu)勢結合起來，相比DRAM擁有更大的存儲容量和密度、更低的靜態(tài)功耗以及非易失特性；相比于外存設備擁有更快的數據讀寫速度。然而，NVM并不能完全取代DRAM作為唯一的主存設備，因為其有限的寫耐久度、較大的寫功耗和寫延遲使其無法滿足內存持久性和高性能的要求。

因此，一種混合NVM和DRAM的主存架構能夠將兩種存儲器的優(yōu)勢結合起來，并有望取代傳統的DRAM架構。為了充分發(fā)揮混合內存架構中兩種存儲器的優(yōu)勢，需要一種合理的數據放置策略，將數據加載到合適的存儲器中，以實現存儲系統性能的提升。

目前的預取技術主要分為基于硬件預取和基于軟件預取。對于傳統的硬件預取技術，普遍的思路是在硬件中維護歷史記錄表用于記錄內存訪問的模式。這種預測模式對簡單、有規(guī)律的訪存模式效果很好，而不能有效處理當今訪存復雜性越來越高的應用負載。此外，在有限的硬件存儲空間中對歷史記錄表進行擴容是不實際的，因此造成了性能瓶頸。對于更靈活的軟件預取技術，研究人員開始將深度學習技術應用到預取技術中。其中，內存預測被等效成時間序列預測問題，典型的代表如基于長短期記憶網絡(LSTM)的軟件預取器，相比傳統的硬件預取器能記錄更長的內存訪問記錄，同時能挖掘訪問記錄之間的相關性，從而提高預測的準確率。這種預測模式能處理更復雜、周期更長的訪問模式。然而，該類預取器的核心模塊是LSTM網絡，這是一種循環(huán)神經網絡RNN，它的反向傳播路徑是沿著序列的時間軸方向。隨著訓練時間步長的增加，其網絡的訓練時間和推斷時間都會相應增加，從而造成預取及時性下降。其次，LSTM的訓練過程需要大量的計算內存和功耗，并不適合實際的工作場景。

發(fā)明內容

本發(fā)明提供一種內存預取方法、裝置及介質，以解決現有的硬件預取準確率低的問題和基于LSTM的軟件預取技術計算開銷大的問題。

本發(fā)明第一方面提供一種內存預取方法，包括：

獲取混合內存中歷史一段時間內的I/O訪問記錄，得到內存訪問數據訓練集；其中，所述I/O訪問記錄包括每次訪問的訪問地址及訪問類型；

對內存訪問數據訓練集進行預處理，得到訪問頁面差值序列和訪問類型序列；其中，所述預處理包括對相鄰訪問記錄的訪問地址所在頁面進行差值計算；

將所述訪問頁面差值序列和所述訪問類型序列輸入到預先建立的基于注意力機制的TCN模型中訓練，得到內存訪問預測模型；