[發明專利]高速緩存預取

在審

• 申請號: 201911107665.1
• 申請日: 2019-11-13
• 公開（公告）號: CN111324556A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: D·哈尼克;E·奧弗;D·薩德
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F12/0862
• 分類號: G06F12/0862
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 馬明月

本公開的實施例涉及高速緩存預取。一種裝置、一種計算機程序和一種方法用于將預定數目的數據項預取到高速緩存。該方法包括：獲得候選數據項及其相關聯的分數的列表，列表包括比待被預取到高速緩存的預定數目的數據項更多的候選數據項。該方法包括：基于候選數據項的分數來從列表中反復選擇候選數據項，并且確定是否將候選數據項添加至高速緩存。確定是否將候選數據項添加至高速緩存包括：確定候選數據項是否被高速緩存所保留；以及響應于確定候選數據項未被高速緩存所保留，將候選數據項添加至高速緩存。該反復選擇和確定被執行，直到預定數目的數據項被添加至高速緩存為止。

技術領域

本公開大體上涉及高速緩存數據存儲，并且具體涉及高速緩存預取。

背景技術

高速緩沖存儲器可以是存儲數據以使得可以更快地服務對該數據的未來請求的硬件組件或者軟件組件。被存儲在高速緩存中的數據可以是早前的計算的結果、被存儲在別處的數據的副本等。當在高速緩存中可以找到所請求的數據時，會發生高速緩存命中。可以通過從高速緩存中讀取數據來服務高速緩存命中，這比重新計算結果或者從較慢的數據存儲庫進行讀取更快。因此，可以通過高速緩存來服務的請求越多，系統可以執行得越快。

高速緩存已經在許多計算領域中證明了自己，因為典型的計算機應用以高度引用局部性訪問數據。這種訪問模式會表現出時間局部性，其中請求最近已經請求過的數據；以及空間局部性，其中請求在物理上被存儲在已經請求過的數據附近的數據。

高速緩存預取可以是由計算機處理器用于以下操作的技術：通過在實際需要指令或者數據之前將指令或者數據從較慢的存儲器形式的原始存儲裝置預取到較快的本地存儲器來提高執行性能。現代計算機處理器可以具有快速的本地高速緩存存儲器，在該快速的本地高速緩存存儲器中，可以保留預取的數據，直到需要它為止。用于預取操作的源通常可以是主存儲器。由于高速緩存存儲器的設計，訪問高速緩存存儲器可以比訪問主存儲器快很多。結果，對數據進行預取，并且然后從高速緩存中訪問數據可能會比直接從主存儲器訪問數據快許多個數量級。

發明內容

所公開的主題內容的一個示例性實施例是一種用于將預定數目的數據項預取到高速緩存的方法，其包括：獲得候選數據項列表，其中候選數據項的數目大于待被預取到高速緩存的數據項的預定數目，其中每個候選數據項與分數相關聯；反復從列表中選擇候選數據項，并且確定是否將候選數據項添加至高速緩存，其中所述選擇基于列表中的順序，其中列表中的順序基于候選數據項的分數，其中所述的確定是否將候選數據項添加至高速緩存包括：確定候選數據項是否被高速緩存所保留；以及響應于確定候選數據項未被高速緩存所保留，將候選數據項添加至高速緩存；其中所述的反復選擇和確定被執行，直到預定數目的數據項被添加至高速緩存。

可選地，該方法還包括：響應于確定候選數據項被高速緩存保留在高速緩存行中，更新高速緩存行的疏散度量。

可選地，高速緩存是最近最少使用(LRU)高速緩存，其中疏散度量是高速緩存行的新鮮度度量。

可選地，將候選數據項添加至高速緩存需要第一處理持續時間，其中所述的更新高速緩存行的疏散度量需要第二處理持續時間，其中第二處理持續時間少于第一處理持續時間。

可選地，與每個候選數據項相關聯的分數指示從高速緩存中檢索到候選數據項的可能性。

可選地，與每個候選數據項相關聯的分數由基于機器學習的預測器確定。

可選地，基于機器學習的預測器基于長短期記憶(LSTM)網絡。

可選地，確定是否將候選數據項添加至高速緩存還包括：確定候選數據項的分數高于預定閾值。

可選地，獲得列表包括：獲得包括該列表和附加數據項的初始列表；以及基于候選數據項的對應分數來從初始列表中選擇前N個候選數據項，由此獲得該列表。