[發明專利]一種數據中心中RDMA應用傳輸參數自適應選擇方法

有效

• 申請號: 201910008291.1
• 申請日: 2019-01-04
• 公開（公告）號: CN109831321B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 沈典;東方;羅軍舟;王凱
• 申請（專利權）人: 東南大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08;H04L29/06
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 許方

本發明公開了一種數據中心中RDMA應用傳輸參數自適應選擇方法，該方法包括以下步驟：步驟(1)分析和采集RDMA應用傳輸參數選擇相關的應用特性以及服務器資源狀態；步驟(2)構建基于應用特性和服務器資源狀態的RDMA傳輸參數組合選擇決策樹模型，自適應地給不同應用選擇最佳的RDMA傳輸參數組合；步驟(3)將步驟(2)得到的決策樹模型以及RDMA通信編程的參數選擇過程封裝成通用的API給應用使用。該方法通過理論分析和實驗構造應用可用的RDMA傳輸參數組合，根據應用特性和服務器資源狀態建立RDMA傳輸參數組合選擇決策樹模型，為應用提供最佳的RDMA傳輸參數選擇，從而優化RDMA應用的性能，同時降低RDMA應用開發難度和開發周期，賦能數據中心新型延遲敏感應用創新。

技術領域

本發明屬于數據中心網絡和RDMA領域，尤其涉及一種數據中心中RDMA應用傳輸參數自適應選擇方法。

背景技術

數據中心是云計算和大數據應用的基礎設施，目前數據中心網絡基本都是采用TCP/IP協議并基于以太網技術搭建。隨著以太網的提速，TCP/IP協議及其實現方式已經無法適應高速數據傳輸的需求，成為網絡性能進一步增長的瓶頸。并且，隨著動態隨機存儲器價格的下降，數據中心中基于內存的分布式應用程序在硬件上得到了保障，將此類應用所用到的工作數據集放置在內存，能夠移除磁盤或閃存的開銷，使得應用程序高效地執行隨機數據存取。然而，網絡通信卻成為制約該類型應用發展的瓶頸，RDMA技術應運而生。RDMA即遠程直接內存存取技術是數據中心服務器間數據交換的一種方式。RDMA將協議棧下放到硬件中，實現了kernel bypass(內核旁路)技術，避免了傳統網絡中數據從用戶態到內核態的拷貝開銷，同時省去了內核處理的開銷，為數據中心應用提供了低延時和高帶寬的性能優勢，從而緩解了基于內存的分布式應用的網絡瓶頸。

當前流行的RDMA實現主要有3種：InfiniBand、RoCE(RDMA Over ConvergedEthernet)和iWARP(Internet Wide Area RDMA Protocol)。InfiniBand是針對RDMA特性設計的，較早出現在高性能計算領域，并且近幾年開始在數據中心得到普及。RoCE和iWARP可以在傳統以太網環境中實現RDMA的特性，因此也得到廣泛的應用。

隨著RDMA網卡的價格降低和RoCE以及iWARP的出現，越來越多的數據中心將其引入，用于解決分布式應用面臨的網絡瓶頸。其中包括但不限于，傳統的分布式應用，如分布式事務處理、MPI消息通信；新興的分布式應用，基于內存的鍵值對存儲、大規模圖計算系統、分布式共享內存。此外，隨著大數據與數據挖掘的興起，相關的處理大數據的框架也在急需I/O方面的提升。許多的相關工作將RDMA引入這一類現有的分布式系統中，如對大量數據進行分布式處理的Hadoop、以內存計算為基礎的Spark、通用深度學習框架TensorFlow。