[發明專利]一種科學計算應用影像區交換通信模式的卸載實現方法

有效

• 申請號: 201811450795.0
• 申請日: 2018-11-30
• 公開（公告）號: CN109743350B
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 肖利民;王志昊;楊章;劉成春;閆柏成;張銳;周易
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F13/28
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 吳小燦

本發明提供一種科學計算應用影像區交換通信模式的卸載實現方法，保證應用執行該種數據通信模式時的高可拓展、低延遲性。包括以下步驟：(a)通過新的數據緩沖區管理機制進行傳輸數據的注冊、管理與注銷操作，以消除網絡接口卡到科學計算應用程序緩沖區的不必要副本，提高網絡帶寬并減少通信延遲；(b)數據的傳輸采用遠程直接數據存取的方法，根據影像區交換通信模式中傳輸數據的大小與進程間的數據依賴情況，靈活地選取多種傳輸協議；(c)將網絡接口卡中的傳輸通道分為共享RDMA通道與獨占RDMA通道，使密集通信或傳輸數據量較大的兩進程間構建獨占的RDMA通道進行數據通信，而其余進程間通信則共享部分通道實現。

技術領域：

本發明涉及高性能計算機技術領域，更具體的說，涉及一種科學計算應用影像區交換通信模式的卸載實現方法，是一種基于高性能計算機(High Performance Computer，簡稱HPC)新型網卡功能的科學計算應用影像區交換通信模式的卸載實現方法。

背景技術：

科學計算是解決國家經濟建設、社會發展、科技創新、國家安全重大挑戰性問題的重要手段，一直是世界各國競爭的戰略高地，在未來很長一段時間內，依然是各國競相優先發展的熱點研究領域。在摩爾定律的推動下，高性能計算機不斷發展進步，其峰值性能已跨過千萬億次，邁入億億次和十億億次時代，并向百億億次的目標繼續挺進。但正因如此，科學計算應用的通信優化也面臨著諸多問題。

科學計算應用編程框架是大幅降低應用級并行編程難度的重要技術途徑，其處于科學計算應用和高性能計算機之間，起著承接與支撐的橋梁作用。一方面其建立在超級計算機提供的通用并行編程模型,例如MPI和Open MP等之上，對運行時優化、數據通信、負載平衡、并行I/O等高性能計算相關工作進行抽象，為應用領域專家屏蔽超級計算機體系結構和顯式并行編程的復雜性。另一方面對軟件的數據結構、函數庫和流程龍骨進行抽象，為大型復雜應用軟件的可拓展研制提供編程的標準和規范。

領域編程框架通過構件模型封裝并行計算的細節，提供不同類型的計算模式，組織內存調度、數據通信以及并行計算，這使得科學計算應用的數據通信過程表現為一種通信模式或多種模式的組合。如果我們能夠依托編程框架，對有代表性的科學計算應用分析凝練共性的數據通信模式，并優化這些通信模式的執行過程，則可以實現對批量科學計算應用性能的優化。

影像區交換數據通信模式是科學計算領域重大應用數據通信過程中，出現頻率較高、通信延遲較大，往往會成為應用程序執行性能的瓶頸。現階段，針對科學計算應用數據通信過程的優化，一般面向MPI編程模型開展。然而，由于MPI的目標是針對消息傳遞并行編程模式指定一種通信庫接口標準，因此對于各種架構的高性能計算機的適配是其設計與實現時的重要指標。雖然，國內外學者對于通信受限型應用從算法改進和通信優化兩種思路開展了諸多工作。但由于MPI本身的普適性，雖然這些工作應用在國產高性能計算機上會產生一定的性能提升，但是其根本上沒有充分結合高性能計算機互連網絡結構的硬件特性，因此對于通信執行過程的優化并不顯著。

發明內容：

針對上述背景中所述的問題，本發明提供一種科學計算應用影像區交換通信模式的卸載實現方法，應用于科學計算重大領域應用的通信過程實現，基于現階段高性能環境中普遍存在的新型網絡接口卡特性，通過將科學計算應用中出現頻率最高的數據通信模式——影像區交換進行卸載優化實現，保證應用執行該種數據通信模式時的高可拓展、低延遲性。

一種科學計算應用影像區交換通信模式的卸載實現方法，其特征在于，包括以下步驟：

(a)通過新的數據緩沖區管理機制進行傳輸數據的注冊、管理與注銷操作，以消除網絡接口卡到科學計算應用程序緩沖區的不必要副本，提高網絡帶寬并減少通信延遲；

(b)數據的傳輸采用遠程直接數據存取的方法，根據影像區交換通信模式中傳輸數據的大小與進程間的數據依賴情況，靈活地選取多種傳輸協議；