[發明專利]分離可組合式架構下的遠內存訪問優化方法及系統

有效

• 申請號: 202110209483.6
• 申請日: 2021-02-24
• 公開（公告）號: CN112817887B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 李超;王靖;汪陶磊;過敏意
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F13/28
• 分類號: G06F13/28;G06F9/54
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

1.一種分離可組合式架構下應用并行協同的RDMA遠內存訪問方法，其特征在于，首先按照應用的內存讀寫頻率將可寫工作集部署在本地計算節點，將只讀工作集部署在遠端內存節點上；在數據傳輸的過程中根據硬件資源特征選取合適的默認數據塊大小，通過將數據塊設置索引，結合RDMA傳輸過程動態分塊實現數據塊的透明分散和整合；利用單邊讀寫和基于隊列的RDMA機制實現配合本地應用讀寫的雙向單邊操作機制；利用基于事件通知的異步讀寫機制設置緩沖區實現本地計算和RDMA數據讀寫的異步并行處理；

所述的分離可組合式架構是指：數據中心中多臺服務器CPU與內存通過網絡連接的方式進行靈活的組合搭配的架構，其中：以計算任務為功能的服務器作為計算節點，以內存訪問為功能的服務器作為內存結點；

所述的遠內存是指：包括至少一個計算節點和至少一個內存結點的分布式架構，其中：計算節點和內存節點均包括一臺服務器，計算節點與內存結點之間通過各自的RDMA網卡有線連接；

所述的服務器以CPU為計算核心、DRAM為內存單元，RDMA網卡通過PCIe與服務器的主板相連，每臺服務器的CPU使用本地內存并通過RDMA網卡使用遠程的內存且不占用遠程CPU的資源。

2.根據權利要求1所述的分離可組合式架構下應用并行協同的RDMA遠內存訪問方法，其特征是，所述的工作集部署，具體包括：

i)根據應用的內存讀寫頻率劃分出只讀的工作集；

ii)在預處理過程中，將步驟i)中所劃分的只讀工作集中的數據塊通過RDMAWrite的形式，分塊將其傳輸到遠端內存區域中；

iii)在計算執行過程中，該本地應用不斷發起讀取遠端數據塊的請求，遠端根據收到的服務器程序的請求，將服務器需要的對應的數據塊通過RDMA Read的形式返回到本機，供當前程序使用。

3.根據權利要求1所述的分離可組合式架構下應用并行協同的RDMA遠內存訪問方法，其特征是，所述的默認數據塊的大小為Chunk＝α×Channel×Frame÷Core，其中：Channel為主板的PCIe一次傳輸數據的通道數，Core為主板的CPU個數，Frame為RDMA網卡的數據幀數，1≤α≤1024。

4.根據權利要求1所述的分離可組合式架構下應用并行協同的RDMA遠內存訪問方法，其特征是，所述的將數據塊設置索引是指：索引設置為數據塊對應內存區域的地址對lkey和鑰匙對rkey。

5.根據權利要求1所述的分離可組合式架構下應用并行協同的RDMA遠內存訪問方法，其特征是，所述的RDMA傳輸過程動態分塊是指：當當前需要發送的數據塊Data_block比當前設置的默認大小Chunk大，則在發送時將該數據塊分為個分別發送，否則將其視為一個Chunk大小進行發送從而實現透明分散；在接收時則將分割成β個的數據塊根據索引按照原來的順序整合，從而實現整合。

6.根據權利要求1所述的分離可組合式架構下應用并行協同的RDMA遠內存訪問方法，其特征是，所述的配合本地應用讀寫的雙向單邊操作機制是指：服務器程序設置接收信息的緩沖區，向遠端發送讀取數據的索引，遠端根據索引收取對應的數據塊并基于隊列的RDMA機制進行單邊讀寫操作，將數據直接寫入服務器的緩沖區中且不需要數據復制；

所述的單邊操作，每次讀寫到接收緩沖區的數據塊都被當成是新的被讀取的數據塊，后到的數據塊會在緩沖區中覆蓋之前到的數據塊信息。

7.根據權利要求1所述的分離可組合式架構下應用并行協同的RDMA遠內存訪問方法，其特征是，所述的基于隊列的RDMA機制是指：

步驟1：發送(接收)隊列中加入事件A請求；

步驟2：執行A事件，讀寫數據開始；

步驟3：A事件彈出發送(接收)隊列；并加入完成隊列；

步驟4：下一個發送(接收)事件B進入發送(接收)隊列；

步驟5：完成隊列中的A事件彈出，掃描其狀態；

步驟6：當A事件狀態為成功，則開始執行B；當狀態不成功，則報錯；

步驟7：重復執行步驟2-6直到沒有新的時間加入發送(接收)隊列。