[發明專利]一種基于人工神經網絡的亂序處理器Cache訪存性能評估方法

有效

• 申請號: 201511018113.5
• 申請日: 2015-12-29
• 公開（公告）號: CN105653790B
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 季柯丞;王芹;凌明;時龍興
• 申請（專利權）人: 東南大學—無錫集成電路技術研究所
• 主分類號: G06F17/50
• 分類號: G06F17/50;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 彭雄

本發明公開了一種基于人工神經網絡的亂序處理器Cache訪存性能評估方法，訪存指令亂序執行，使得利用二進制執行工具提取的堆棧距離分布在預測LRU?Cache訪存行為時精度不高。本發明將紅黑樹與哈希表結合，設計基于Cache組關聯結構的堆棧距離提取算法，并分別計算訪存順序與亂序執行的堆棧距離分布。利用BP神經網絡擬合訪存順序執行的堆棧距離分布與訪存缺失次數。將基于二進制執行工具提取的堆棧距離分布導入訓練好的神經網絡中，可高精度地預測Cache訪存行為。本發明采用人工神經網絡，有效地解決了利用二進制執行工具提取的堆棧距離分布在預測Cache訪存行為上精度不高的問題。

技術領域

本發明涉及一種基于人工神經網絡的亂序處理器Cache訪存性能評估方法，屬于軟硬件協同設計領域。

背景技術

基于硬件行為建模的硅前架構評估及設計空間探索可提供芯片設計指導意見，降低芯片設計迭代周期。Cache作為片上高速緩存對處理器訪存性能影響較大，訪問缺失會使處理器流水線產生氣泡或引起流水線阻塞，降低處理器計算性能。另外，Cache占據大量芯片面積，消耗大量功耗，所以處理器設計需要更合理地設計Cache的組織結構。

近幾年關于Cache訪存性能的研究可以分成兩個方向維度，一是減少目標應用程序在當前Cache結構中的訪存缺失次數，二是減少訪問命中時SRAM體響應時間以及訪問缺失后的數據取回時間。統計Cache訪存缺失次數的方法主要包含兩種，一是基于重用距離分布的概率推算，二是基于堆棧距離分布的統計計數。重用距離指，針對同一Cacheline的兩次連續訪存請求之間存在的訪存請求個數。堆棧距離指，針對同一Cacheline的兩次連續訪存請求之間的訪存地址種類個數。重用距離與堆棧距離均需要從訪存Trace流中提取。獲取Trace流多以在二進制執行工具中軟件插樁的方式來統計訪存順序流，或者也可以將重用距離、堆棧距離提取算法直接嵌入到二進制執行工具中。采用二進制執行工具的好處是可較為快速地提取出重用距離與堆棧距離分布，但缺點是獲取的重用距離、堆棧距離分布均是按照訪存指令順序執行的結果統計。該方法不能直接應用于亂序處理器的Cache訪存行為建模。

訪存行為在亂序處理器中的亂序調度受四個因素影響。首先，訪存地址運算會亂序執行。訪存指令在轉換成訪存操作前需要計算訪存地址。若計算所依賴的源操作數(寄存器)處于就緒狀態，在無讀寫一致性問題且無Memory Barrier指令嵌入時，地址計算操作可被調度。亂序調度的原因是由于優先進入流水線的指令，其計算資源未就緒。為了提升處理器指令吞吐率，故將計算資源已經就緒的指令優先調度。其次，TLB訪問缺失引起會訪存亂序發射。在地址計算完成后，訪存地址會傳輸至TLB進行地址翻譯，將虛擬地址轉換成物理地址。因為TLB采取CAM或類Cache的訪問結構，容量相對較小，無法將頁表中所有的表項緩存在TLB中，所以地址轉換過程中會產生TLB訪問缺失現象。假如存在地址計算完成且TLB訪問命中的訪存請求，則亂序至前排發射。第三，地址轉換過后，訪存請求會通過Cache端口進入到Cache存儲體中。由于端口數量有限，非阻塞發射訪存請求會使Cache端口存在被填充滿的情況。此時，所有就緒訪存停止發射，待Cache端口處于非堵塞狀態時重新恢復發射。在等待過程中，由于計算資源未就緒或TLB訪問缺失等原因，被亂序至后排發射的訪存請求此時已處于發射就緒狀態。基于亂序調度機制遵循最老指令優先調度的原則，原本被打亂的訪存序列存在恢復順序執行邏輯的可能。

最后值得注意的是，即使得到訪存亂序執行流，也不能將其直接應用于亂序處理器的Cache訪存行為建模。這是因為處理器非阻塞發射訪存請求，使得后續訪問在前次訪存還未完成的情況下被扔出。而順序處理器必須等待前次訪問完成后才能發出后續訪問請求。

上述四種亂序影響，使得基于二進制執行工具提取的堆棧距離分布同亂序執行后的結果相比差異巨大，導致Cache訪存行為預測精度不高。現有預測亂序處理器Cache訪問缺失次數的方法采用全功能仿真模型，由于全仿真時間開銷過大，該方法不利于快速評估Cache訪存行為。所以本發明針對上述問題提出了一種基于神經網絡的Cache性能評估方法，用于快速預測亂序處理器中Cache訪存行為。