[發明專利]一種面向高性能的適應預取的智能緩存替換策略

有效

• 申請號: 202110606031.1
• 申請日: 2021-05-24
• 公開（公告）號: CN113297098B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 方娟;楊會靜;滕自怡;蔡旻
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F12/0811
• 分類號: G06F12/0811;G06F12/0871;G06F18/2411;G06F12/06
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

本發明公開一種面向高性能的適應預取的智能緩存替換策略，在存在硬件預取器的情況下，區分預取和需求請求，利用基于ISVM(Integer?Support?Vector?Machines)的預取預測器對預取訪問加載的緩存行進行重引用間隔預測，利用基于ISVM的需求預測器對需求訪問加載的緩存行進行重引用間隔預測。輸入當前訪存的load指令的PC地址和訪存歷史記錄中過去load指令的PC地址，針對預取和需求請求設計不同的ISVM預測器，以請求類型為粒度對加載的緩存行進行重用預測，改善存在預取時緩存行重用預測的準確度，更好的融合了硬件預取和緩存替換帶來的性能提升。

技術領域

本發明屬于計算機體系緩存系統結構領域，具體涉及一種面向高性能的適應預取的智能緩存替換策略。

背景技術

計算機內存的性能提升速度遠遠落后于處理器性能提升的速度，形成了阻礙處理器性能提升的“存儲墻”，從而使得內存系統成為整個計算機系統的性能瓶頸之一。末級緩存(LLC)緩解了CPU和DRAM之間的延遲和帶寬方面的巨大差異，改善處理器的內存子系統是緩解“存儲墻”問題的關鍵。一種方法依賴于設計合理的高速緩存替換策略來有效地管理片上末級高速緩存，這些方法通過動態修改高速緩存插入，以對數據的重用性和重要性進行優先級排序，從而減少插入緩存行對LLC的干擾。另一種緩解“存儲墻”問題的主流方法是使用硬件預取器，在實際引用之前將數據預取到緩存層次結構中，盡管預取可以隱藏內存延遲并顯著提高性能，但是錯誤的預取會造成緩存污染，可能會嚴重降低處理器性能。

隨著處理器核數的增加以及工作負載多樣性和復雜性的增加，CPU處理器上的替換策略已經從越來越復雜的基于啟發式的解決方案發展到基于學習的解決方案。基于學習的緩存替換策略是從過去的緩存行為中學習數據的重用性，以預測未來緩存行插入的優先級。例如，某個load指令在過去引入了產生緩存命中的緩存行，那么將來同一load指令很可能引入也將產生緩存命中的緩存行。

緩存替換策略通過預測高速緩存行的重引用間隔(Re-Reference?PredictionValue，RRPV)來模擬最佳替換決策，重用間隔表示緩存行的相對重要性，重用間隔小的緩存行表示即將被重用，因此以高優先級在緩存中插入該行，保證該行可以保留在緩存中。重用間隔大的緩存行則以低優先級插入，保證盡快被驅逐?；趯W習的緩存替換策略中，常見的是基于引起緩存訪問的內存指令的程序計數器(Program?Counter,PC)預測緩存行的重用間隔，如果來自同一個PC的大多數緩存訪問具有相似的重用行為，則基于PC可以準確預測緩存行的重用間隔。例如，SHiP提出了一種基于PC的重用預測算法，以預測高速緩存的重用行為并使用該預測來指導高速緩存的插入位置。Hawkeye根據過去的緩存訪問來重建Belady-MIN算法，訓練一個基于PC的預測器，從MIN算法對過去的內存訪問進行的決策中學習，然后Hawkeye根據預測器所學的內容做出替換決策。

Zhan等人將緩存替換建模為序列標簽問題，并采用長短時記憶網絡模型(LongShort?Term?Memory，LSTM)訓練離線預測器，由于輸入長期的過去load指令的歷史記錄，提高了預測的準確率。進一步提出了在線緩存替換策略Glider，在硬件上設計了可以緊湊地表示程序長期的load指令歷史記錄的特征，輸入到在線ISVM，硬件上使用ISVM表跟蹤每個PC的ISVM的權重?；贗SVM的在線預測器提供的準確性和性能優于前沿的緩存替換策略中使用的預測器。然而上述的研究沒有考慮存在預取器的情況，存在預取時，由于沒有區分預取和需求請求，導致預測的準確率下降，預取造成的緩存污染也會干擾緩存空間的管理，降低內存子系統性能。從緩存管理的角度來看，預取請求具有與需求請求不同的屬性，通常由需求請求插入LLC的緩存行比預取請求對程序的性能更重要。

本發明提出了一種適應預取的智能緩存替換策略，以請求類型為粒度對加載的緩存行進行重用預測，輸入當前訪存的load指令的PC地址和訪存歷史記錄中過去load指令的PC地址，針對預取和需求請求設計不同的ISVM預測器，改善存在預取時緩存行重用預測的準確度，更好的融合硬件預取和緩存替換帶來的性能提升。

發明內容