[發明專利]IPOIB性能優化方法、裝置、設備及介質

在審

• 申請號: 201711492788.2
• 申請日: 2017-12-30
• 公開（公告）號: CN109995828A
• 公開（公告）日: 2019-07-09
• 發明（設計）人: 付永振;魏春來;靳曉嘉;湯云峰;李飛;曹雷雷;王靖
• 申請（專利權）人: 中國移動通信集團河北有限公司;中國移動通信集團公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/50
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 賀琳

本發明實施例公開了一種IPOIB性能優化方法、裝置、設備及介質，該方法包括：接收數據包，基于數據包的四元組信息計算每個數據流的哈希值；由軟中斷處理CPU核將數據包分配到與哈希值對應的應用程序處理CPU核；判斷應用程序處理CPU核與軟中斷處理CPU核是否相同；當判斷結果為否時，執行預設程序，以使應用程序處理CPU核與軟中斷處理CPU核相同。本發明能夠確保應用程序處理的CPU核跟軟中斷處理的CPU核是同一個，充分利用了CPU的cache，提高cache的命中率，避免了由于CPU單核軟中斷影響系統性能，提升系統節點CPU整體利用率，有效提高整個分布式IB集群系統性能。

技術領域

本發明涉及IPOIB網絡技術領域，尤其涉及一種IPOIB性能優化方法、裝置、設備及介質。

背景技術

在IT系統中，尤其是以Oracle為代表的數據庫和ScaleIO、Ceph為代表的分布式存儲系統的大規模使用，InfiniBand網絡得到了廣泛的應用。InfiniBand網絡的特點是高帶寬、低延遲和零拷貝。

RMDA(Remote Direct Memory Access)在應用中可以提高節點間交互帶寬，降低時延和減少CPU的開銷，明顯提升系統性能。如Oracle RAC(Real application clusters)中使用RDS(Reliable Datagram Sockets)可以提升系統50％性能，降低CPU利用50％。

但是InfiniBand網絡也有局限性，并不是我們在生產系統中使用的應用程序都支持RDMA，所以往往在生產系統中，我們使用折中的方案，采用IPOIB(IP Over InfiniBand)來部署InfiniBand網絡系統。這樣雖然在生產系統中沒有辦法使用RDMA技術，但是我們可以利用InfiniBand網絡的高帶寬、低時延和無損鏈接的特性。

通常，在生產系統中IPOIB有兩種模式：Connect模式(類似于IP網絡中的TCP模式)和datagram模式(類似于IP網絡中的UDP模式)。Connect模式MTU(Maximum TransmissionUnit)最大為64K，適合于小規模高帶寬的網絡使用，如Oracle RDS中使用，其缺點是RAC節點數有限，受限于鏈接數量。而datagram模式MTU最大為4096，適合于大規模網絡使用。

在Linux系統中對于IPOIB默認軟中斷處理IRQ(Interrupt Request)是使用X86上一定數量的CPU核(受限)來處理IRQ，在生產系統中易造成處理IRQ的核的利用率達到100％，而有的CPU核非常空閑，導致整個系統利用率不高。

在IPOIB應用中，針對單個CPU核處理軟中斷IRQ利用率不高造成整個系統CPU利用率不高的問題，目前Linux和Mellanox對于IPOIB的優化方法具體如下：

由于服務器的CPU越來越強勁，可以到達十幾核、幾十核，而網卡硬件隊列則才4個、8個，這種發展的不匹配造成了CPU負載的不均衡。在Linux內核版本2.6.21之前，環境默認情況下一個HCA網卡只能申請一個中斷號，因此同一個時刻只有一個核在處理HCA網卡收到的包。如圖1a所示，協議棧通過NAPI輪詢收取各個硬件queue中的報文到net_device數據結構中，如圖1b所示，通過QDisc隊列將報文發送到HCA網卡。

Linux內核版本2.6.21開始支持多隊列特性，當HCA網卡驅動加載時，通過獲取的HCA網卡型號，得到網卡的硬件queue的數量，并結合CPU核的數量，最終通過Sum＝Min(網卡queue，CPU core)得出所要激活的網卡queue數量(Sum)，并申請Sum個中斷號，分配給激活的各個隊列queue。