[發明專利]一種基于多級Cache的數據預取編譯優化方法

在審

• 申請號: 202211446513.6
• 申請日: 2022-11-18
• 公開（公告）號: CN115794111A
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 姜軍;湛芳;黃亮明;張辰璐;周昀煊
• 申請（專利權）人: 無錫先進技術研究院
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F8/33
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 陳萍萍

本發明公開了一種基于多級Cache的數據預取編譯優化方法、裝置及存儲介質，包括計算循環體的預估執行時間；篩選出循環體中具備發射分級預取指令資格的訪存點；將多級Cache中的MSHR資源按照一級Cache、二級Cache和三級Cache的順序依次分配給所篩選出的各個訪存點，直至MSHR資源分配完成；對分配了一級Cache預取資源的訪存點按照計算的一級預取距離發射一級預取指令；若編譯器內存在目標機器上的二級預取指令模板，則對分配了二級Cache預取資源的訪存點按照計算的二級預取距離發射二級預取指令；若編譯器內存在目標機器上的三級預取指令模板，則對分配了三級Cache預取資源的訪存點按照計算的三級預取距離發射三級預取指令。本發明充分利用了多級緩存中的MSHR資源，提升了處理器性能。

技術領域

本發明涉及編譯器優化技術領域，特別涉及一種基于多級Cache的數據預取編譯優化方法、裝置及存儲介質。

背景技術

當前主流編譯器采用較多的是由Mowry.T.C.等人設計的數據預取編譯算法，即在局部性分析的基礎上為循環級數組訪問插入預取指令。編譯器預取技術研究主要分為兩類，第一類為基于代碼局部性分析，主要有Chi-Keung Luk等人提出的貪心預取、歷史指針預取和數據線性化預取這三種預取策略；第二類為基于剖析技術實現，主要有Chi-KeungLuk在Alpha體系結構上實現了基于剖視技術的數據預取框架、Youfeng Wu提出的基于剖析(Profiling)技術的步長預取策略、Fengbin Qi等人在ORC編譯器反饋式編譯優化技術的基礎上實現了反饋指導的鏈式數據結構的數據預取；以上研究均是將數據直接從主存預取到一級高速緩存。

現代計算機采用了存儲器層次結構方法來組織存儲器系統，參照圖1所示為一個典型的存儲器層次結構，其包括寄存器、一級高速緩存(Level 1Cache，簡稱L1 Cache)、二級高速緩存(Level 2Cache，簡稱L2 Cache)、三級高速緩存(Level 3Cache，簡稱L3Cache)、主存等層次，該結構層級從寄存器開始由上往下與處理器核心稱CPU的距離越來越遠，設備訪問速度越來越慢、容量越來越大，且每字節的造價也越來越便宜；其緩存原理是，位于k層(Level 0～4)的更快更小的存儲設備作為位于k+1層的更大更慢的存儲設備的緩存，即層次結構中的每一層都緩存來自較低一層的數據對象；越靠近CPU的緩存，訪存缺失狀態保存寄存器MSHR數越少。然而，目前常用的編譯器預取機制僅將數據直接從主存預取到L1 Cache，由于L1 Cache所持有的MSHR較少，沒有充分利用多級Cache所持有的MSHR，限制了CPU實際內存帶寬，當程序循環體存在多個訪存流時，若直接將數據從主存預取到L1Cache會成倍增加同一段時間內對MSHR資源的請求數，使得本就稀缺的MSHR資源成為瓶頸，導致流水線上的訪存指令暫停執行，降低數據預取的效果。

發明內容

本發明的目的在于克服現有技術中的不足，提供一種基于多級Cache的數據預取編譯優化方法、裝置及存儲介質，解決現有技術在多訪存流競爭資源場下容易造成一級緩存資源限制、隱藏訪存時延、降低數據預取效果等技術問題。

為解決上述技術問題，本發明是采用下述技術方案實現的：

第一方面，本發明提供一種基于多級Cache的數據預取編譯優化方法，所述方法包括：

獲取函數體循環隊列中的各循環體的排列順序；

根據所述排列順序按照倒序的方式依次對各所述循環體分別進行插入分級預取指令的操作；

其中，對循環體進行插入分級預取指令的操作包括：

計算所述循環體的預估執行時間；

篩選出循環體中具備發射分級預取指令資格的訪存點；

將多級Cache中的MSHR資源按照一級Cache、二級Cache和三級Cache的順序依次分配給所篩選出的各個訪存點，直至MSHR資源分配完成；