[發明專利]基于訪存優先級的GPGPU性能優化方法

在審

• 申請號: 201810091341.2
• 申請日: 2018-01-30
• 公開（公告）號: CN108279981A
• 公開（公告）日: 2018-07-13
• 發明（設計）人: 張軍;何炎祥;何月順;譚海
• 申請（專利權）人: 東華理工大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京久維律師事務所 11582
• 代理人: 邢江峰

本發明公開一種基于訪存優先級的GPGPU性能優化方法，以此更好的解決GPGPU上的cache訪問競爭問題；包括如下步驟：（1）計算MSHR中每個表項的表項長度；（2）計算MSHR中每個表項的訪存離散度；（3）計算MSHR中每個表項的訪存優先級；（4）選擇步驟（3）中計算所得的訪存優先級最高的表項對應的訪存請求進行發射；（5）返回至步驟（1），繼續下一次訪存調度，直至該任務執行結束。

技術領域

本發明涉及到高性能處理器性能優化領域，尤其涉及一種基于訪存優先級的GPGPU性能優化方法。

背景技術

GPGPU也即通用圖形處理器，最初應用于圖形圖像處理等領域。隨著GPGPU體系結構的發展，其獨特的并行計算體系結構使其擁有強大計算能力，它已經成為通用計算領域尤其是高性能計算領域最主要的運算加速部件。

GPGPU內部設計了多個可以并發執行的邏輯運算部件以及大容量的寄存器單元。這種硬件結構支持超大規模多線程(并發線程數量通?？梢赃_到10⁵個以上)的并發執行，并采用單指令多數據(SIMD)的程序執行模式。為了高效的調度并發執行的線程，GPGPU將多個連續的線程組織為線程塊(thread block,TB)，每個TB包含多個線程組(warp)，每個線程組通常由32或64個連續的線程組成。正因為有這種多級組織的線程層次結構，GPGPU可以通過快速物理切換線程的執行隱藏線程訪存產生的長延時。然而，密集的訪存仍然會對GPGPU的整體性能產生較大的影響。盡管GPGPU采用多級存儲層次結構來解決訪存效率問題，但是運行于GPGPU上的線程數量過多，很容易產生對GPGPU片上資源尤其是cache資源的訪問競爭，容易導致cache訪問產生“抖動”現象。

近幾年，國內外不少學者針對GPGPU的片上資源訪問競爭問題，主要從線程調度優化和cache繞行兩方面開展相關研究工作。其中，cache繞行不在本專利的考慮范圍內。線程調度優化解決GPGPU片上資源訪問競爭的工作主要包括線程級并行度（TLP）調節、基于優先級的線程調度、混合任務執行等三方面。

（1）TLP調節

2010年，Hsiang-Yun Cheng等針對多核體系結構的處理器，提出了調節發出訪存請求的線程數量，當產生訪存競爭時，減少此類線程的并發執行數量。2012年，Timothy G.Rogers等提出了Cache-Conscious Wavefront Scheduling(CCWS)線程調度策略，通過檢測每個線程組執行過程中的局部性損失評分，動態的限制發射訪存指令的線程組數量。2013年，他們提出了另一種動態調節TLP的線程調度策略Divergence-Aware Warp Scheduling(DAWS)。與CCWS被動調節TLP不同的是，該方法通過比較線程組每次訪存所需空間與剩余cache空間的大小，決定該線程組是否可以發射訪存指令，從而實現對TLP的調節。2013年，Onur Kayran等提出了Dynamic CTA Scheduling Algorithm(DYNCTA)線程調度方法，通過周期性監測空閑線程組數量和GPGPU核的空閑等待周期等參數的變化，動態調節TLP。2014年，國內學者鄭重等提出了Adaptive Cacheand Concurrency Allocation(CCA)線程調度策略，該方法根據線程組的cache訪問模式和cache使用情況自適應的調節TLP。與以上方法不同的是，同年，Minseok Lee等提出的線程調度方法中采用了靜態調節TLP的策略，通過對第一個線程組的執行周期分析，計算出某個計算任務整個執行過程的TLP值。

調節TLP的線程調度策略通常是在發生cache訪問競爭時減少并發執行的線程數量，可以有效降低cache訪問競爭的程度，但是在一定程度上會減少片上資源尤其是計算資源的利用率，對GPGPU的性能提升也會產生影響。有的方法減少訪存線程的數量，在一定程度上也會降低存儲子系統和片上網絡的效率。

（2）基于優先級的線程調度