[發明專利]一種異構內存架構下基于任務感知的資源分配方法

有效

• 申請號: 201810632230.8
• 申請日: 2018-06-19
• 公開（公告）號: CN108897618B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 許胤龍;陳吉強;李永坤;郭帆;劉軍明
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 汪祥虬

本發明公開了一種異構內存架構下基于任務感知的資源分配方法，特征是包括進程性能元數據記錄、節點任務分配記錄、任務特性感知的調度策略和頁面感知的遷移策略步驟。由于對不同的任務進行了區分，使每個NUMA節點內的任務分配相對均勻，與系統默認的任務分配策略相比，緩解了系統CPU的cache爭用與內存訪問競爭；同時由于對任務不同讀寫特性的頁面進行區分，在異構內存架構下采用適應性的放置策略，減少了NVM內存的寫操作次數，延長了NVM的使用壽命；采用本發明方法由于大部分寫操作都發生在DRAM中，所以盡可能減少了性能損失。

技術領域

本發明屬于計算機內存管理技術領域，具體涉及在廣泛使用的非統一內存訪問(NUMA)架構服務器中，應用新型非易失性存儲器(NVM)與傳統動態隨機存儲器(DRAM)構建異構內存，并在此基礎上通過任務特性感知，實現高效的任務資源分配的方法。

背景技術

1999年9月，IBM公司將NUMA技術集成到IBMUnix中。NUMA的突破性技術徹底擺脫了傳統的超大總線對多處理結構的束縛。它大大增強單一操作系統可管理的處理器、內存和I/O插槽。由于面對目前的大數據場景，越來越多的應用由傳統的計算密集型應用，轉變為數據密集應用，為了滿足應用更大的內存需求，逐漸提出異構內存架構。因此，未來新型的NUMA異構內存架構將表現出高度的非一致性：應用種類復雜性、存儲介質讀寫速度不對稱性、以及NUMA固有的訪問非一致性。傳統的NUMA技術無法區分不同內存介質的特性，對于不同種類的應用無法區分對待獲得最優運行性能，對于不同存儲介質無法針對性頁面放置獲得最優存儲性能，導致系統實際性能與理論最優性能相差甚遠。

發明內容

本發明的目的是提出一種異構內存架構下基于任務感知的資源分配方法，一方面，針對不同類型的應用，采用適應性的CPU與內存分配；另一方面，針對不同特性的應用訪問頁面，采用不同的頁面放置策略，以解決現有NUMA管理技術應用于異構內存時的缺陷，在保證低軟件開銷的情況下，實現多任務的高效分配，以及異構內存的高效使用。

本發明異構內存架構下基于任務感知的資源分配方法，其特征在于包括以下步驟：

第一步：進程性能元數據記錄

針對所有優化的任務進程，通過硬件性能計數器獲取進程每秒的內存寫請求數WAPS(Write Accesses per Second)和進程的內存總占用量MF(Memory footprint)這兩個性能參數，由此計算出任務分類標準TC(Task classification)＝WAPS*MF，其中，WAPS單位設置為million，MF單位設置為GB；依據TC值，將任務分成兩大類：當TC1時，為計算密集型應用；當TC1時，為數據密集型應用；

第二步：節點任務分配記錄

依據每一個進程的CPU占用、內存分配以及性能元數據記錄，為NUMA架構中每一個節點創建一個任務進程記錄表，記錄節點內相關進程的元數據；同時為每個節點創建一個資源分配記錄表，記錄節點內的CPU core占用情況，以及節點空閑內存的容量；

第三步：任務特性感知的調度策略

基于系統默認的任務資源分配方式，根據每個節點的任務分配記錄，周期性完成節點間的任務遷移調整，以使不同類型的應用在所有節點分配均勻；

首先遍歷NUMA所有節點的分配記錄表，找出運行最多計算密集型應用即TC1的節點Node1，以及運行最多數據密集型應用即TC1)的節點Node2；分別記錄兩節點中的計算密集型任務數為：computing_task_NUM；數據密集型任務數為：data_task_NUM；