[發明專利]一種基于Bank劃分的批量內存調度方法

在審

• 申請號: 201810484718.0
• 申請日: 2018-05-20
• 公開（公告）號: CN108733492A
• 公開（公告）日: 2018-11-02
• 發明（設計）人: 方娟;汪夢萱;李凱;李寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

本發明公開一種基于Bank劃分的批量內存調度方法，首先根據內存請求的來源，分為CPU內存請求和GPU內存請求，分別合成批緩沖區請求；其次在CPU和GPU批緩沖區中選擇需要處理的批量內存請求。如果選擇的是批量GPU內存請求，使用行緩沖區命中優先的先來先服務(FR?FCFS)的調度策略來選擇下一次處理的內存請求；如果選擇的是批量CPU內存請求，需要對Bank進行劃分，使不同核的訪存請求映射到不同的Bank，隔離多個CPU應用程序的訪存請求。本發明的技術方案，消除了多個CPU和GPU訪存請求的相互干擾，最大程度保留了每個內核的訪存請求的特性，提高命中率，從而達到降低內存功耗，提升系統性能的目的。

技術領域

本發明屬于計算機體系內存系統結構領域，具體涉及一種面向高性能的基于Bank劃分的批量內存調度方法。

背景技術

異構多核架構，即在同一芯片上集成多個CPU和GPU作為一種先進體系結構逐漸成為主流。現代的內存系統，主要是依據訪存請求的局部性原理降低功耗和提高性能，異構多核架構下的CPU和GPU共享片上主存，所以來自不同內核的內存請求會爭奪共享內存資源，相互干擾，單個應用程序的訪存請求的局部性逐漸消失，從而嚴重影響到整體系統性能。內存請求的干擾主要分為兩種，GPU內存請求對CPU內存請求的干擾和多個CPU之間的內存請求干擾。在多核架構上，經典的應用感知內存調度策略是通過分析應用程序特性并據此調整內存請求的優先次序，提高公平性改善系統性能。這種內存調度策略是通過集中式請求緩沖區實現的，請求緩沖區中保存了待處理的內存請求，內存控制器通過請求緩沖區，查看分析不同應用程序的內存行為。在異構多核架構中，GPU的特性帶來了新的挑戰。由于GPU能夠執行大量并行線程，因此GPU應用程序通常需要比CPU應用程序更多的內存帶寬。GPU使用單指令多數據(SIMD)流水線同時執行多個線程，執行相同指令的一組線程稱為線程束。GPU通過切換線程束來隱藏訪問延遲，因此所有線程束都可能有成千上萬未完成的內存請求，占用大量的內存，在請求緩沖區中，來自GPU的大量請求占用很大一部分，請求緩沖區的大小也有限制，所以請求緩沖區中來自CPU的內存請求不足以內存控制器分析出CPU應用程序的內存行為，這稱為GPU內存請求對CPU內存請求的干擾。來自多個CPU應用程序的內存請求之間也存在干擾，每一個核都希望自己的訪存請求能夠被快速處理，這種相互競爭破壞了單個程序訪存請求的特點，使得訪存請求的隨機性增強，無法利用訪存請求的局部性原理，大大降低了訪存命中率。命中率的降低，不僅增加系統功耗，增大訪問延遲，更會加劇內存墻問題。本文針對異構系統，將內存請求之間的干擾分為兩種，相對的，也將內存調度算法分為兩個階段，第一階段根據內存請求的來源，將內存請求分為CPU內存請求和GPU內存請求，分別合成批緩沖區請求，這一階段稱為批量生成，針對的是GPU內存請求對CPU內存請求的干擾。第二階段是只對CPU批緩沖區請求，采用了一種動態Bank劃分策略，將不同的CPU內存請求訪存范圍限制在不同的Bank集合上，這樣會有效的降低多個CPU應用程序的相互干擾。本文將此兩階段內存調度算法稱為基于Bank劃分的批量調度算法。

發明內容

本發明提出了一種基于Bank劃分的批量內存調度方法。首先第一階段根據內存請求的來源，分為CPU內存請求和GPU內存請求，分別合成批緩沖區請求。第二階段在CPU和GPU批緩沖區中選擇需要處理的批量內存請求。如果選擇的是批量GPU內存請求，使用行緩沖區命中優先的先來先服務(FR-FCFS)的調度策略來選擇下一次處理的內存請求。如果選擇的是批量CPU內存請求，需要對Bank進行劃分，使不同核的訪存請求映射到不同的Bank，隔離多個CPU應用程序的訪存請求。通過這兩個階段，徹底地消除了多個CPU和GPU訪存請求的相互干擾，最大程度保留了每個內核的訪存請求的特性，提高命中率，從而達到降低內存功耗，提升系統性能的目的。

為了達到上述目的，本發明采用以下技術方案。

步驟1，批量生成。

步驟1.1，根據內存請求來源，為每一個內存請求設置請求類型(CPU請求/GPU請求)和內核ID字段。