[發明專利]高速緩存過濾方法和裝置

無效

• 申請號: 200980136016.2
• 申請日: 2009-08-25
• 公開（公告）號: CN102150138A
• 公開（公告）日: 2011-08-10
• 發明（設計）人: N·N·梅克希爾
• 申請（專利權）人: 莫塞德技術公司
• 主分類號: G06F12/02
• 分類號: G06F12/02
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

技術領域

本發明總體涉及存儲器和處理。具體而言，本發明涉及用于高速緩存過濾的方法和裝置。

背景技術

特別是在計算機處理和存儲器系統領域，處理器和主存儲器之間的速度差距日漸增長。該差距直接影響整個計算系統的性能。為了緩解性能方面的顧慮，計算系統包括賴以縮小該速度差距的高速緩存機制。這種高速緩存機制在縮小速度差距方面的成功隨其參數而變化，參數諸如為高速緩存的大小、塊大小和關聯性。然而，這種高速緩存機制不可能通過改變這些參數而持續改善性能，這是由于這樣做會達到由于增加系統復雜度、功耗和高速緩存自身的性態而出現性能變差的現象。

為了使高速緩存有效工作，目前的高速緩存機制通常依賴于訪問(reference)的空間局部性(locality)和時間局部性。然而，諸如多媒體應用的一些情況局部性有限，而是更依賴于主存儲器的性能。而且用C、C++和面向對象的編程語言編寫的應用程序使用動態分配的數據結構把數據映射到可用存儲器空間。因而數據會分散在存儲器中，因此空間局部性差。這些應用中的數據元素在時間上不能盡快重復利用，因而時間局部性也差。這種類型的計算應用中空間局部性和時間局部性差會使傳統高速緩存機制效率下降。

存儲器系統中，空間局部性和時間局部性差但多次使用的訪問比存儲在高速緩存中但從未再次使用的訪問更需要保存在高速緩存中。不希望出現保存在高速緩存中但不再使用的訪問，這是由于這些訪問和其他更經常使用的訪問競爭。此外，不應除去或替換空間局部性和時間局部性差但是使用頻率高的訪問。

通常通過利用一些應用中不存在的訪問的局部性來改善這些高速緩存機制。更常見的通過增加額外硬件成本來實現，以通過增加高速緩存大小和關聯性、提供更多的存儲器體系級別或者提供預取緩沖器來把更多訪問保存在高速緩存中。

相應地，由于處理器速度和主存儲器速度之間的差距增長以及一些應用中缺少局部性，高速緩存機制變得效率更低。為了解決高速緩存限制以及高速緩存未命中損失(penalty)的持續增加，在需要數據之前使用硬件和軟件預取方案事先從主存儲器中取出數據。雖然這種預取方法對一些應用中的普通存取模式是有用的，但是，這種方法不能隱藏現代和未來處理器中長達幾百個周期的非常長的高速緩存未命中延遲。

提出了其他方法以通過選擇性分配來更好地管理主存儲器高速緩存(即一級高速緩存或L1高速緩存)。這些選擇性分配方案根據統計劃分高速緩存，這樣，基于高速緩存塊的空間和時間局部性把高速緩存塊劃分到不同的子高速緩存中。然而，如果存取模式不適合劃分方法，這些方法性能較差，因而這些方法存在問題。

提出了其他方法，這些方法利用多級高速緩存中訪問使用頻率以把最經常使用的訪問移動到較高級別高速緩存，以改善L1高速緩存性能。然而，該方法適于具有小的一級高速緩存的系統，在一級高速緩存大小和關聯性增加時其效率降低。

還提出了其他方法，利用第一級高速緩存作為過濾器，以把有用的不確定存儲器訪問放在第一級高速緩存中。然而，該方法性能改善有限，而且為了預測訪問的使用不利地增加了硬件成本。

因而，需要提供一種不依賴于昂貴的附加硬件并且可以處理大存儲器高速緩存的高速緩存機制，這種機制以節約成本的方式減小現代存儲器系統和計算機處理器之間的速度差距。

發明內容

本發明的目的是消除或減輕前述高速緩存機制的至少一種缺點。

通過分析存儲器訪問的特性認識到多次使用的訪問很少，而使用從未超過一次的訪問很多。此外，發現使用兩次或更多次的地址數量大約為使用一次或多次的地址數量的一半。這意味著傳輸到傳統高速緩存中的一半地址從未使用過。利用昂貴的處理器和存儲器總線時間把這些地址從主存儲器傳輸到高速緩存中。此外，高速緩存中從未使用的訪問和經常使用的訪問競爭，可以把經常使用的訪問排擠到高速緩存之外。因而，把經常使用的訪問保存在高速緩存中而把不常用的訪問拒絕在高速緩存之外是有用的。

總體而言，本發明實施例通過監控對DRAM開放行的訪問的特性來動態管理高速緩存。DRAM中的數據不受處理器預取方案或高速緩存的影響。高速緩存中有數據時，由于給定時刻僅把有限大小的數據傳輸給高速緩存，所以高速緩沖中的數據的局部性發生改變。使用高速緩存中數據特性的現有方案受到處理器影響，并且其范圍受到高速緩存局部性限制。因而，顯而易見的是高速緩存不能解決其自身的限制，相反，必須從高速緩存之外尋求解決之道。本發明實施例提供了不增加系統復雜度而改善高速緩存性能的新方法。這通過使用訪問特性以及其在主存儲器中的使用頻率而實現。