[發明專利]面向高性能計算應用的通信特征分析方法及系統

有效

• 申請號: 201910977383.0
• 申請日: 2019-10-15
• 公開（公告）號: CN110928705B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 全哲;李傳瑩
• 申請（專利權）人: 湖南大學
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F8/30;G06F11/30
• 代理公司: 深圳市興科達知識產權代理有限公司 44260
• 代理人: 王翀;陽江軍

本發明公開了一種面向高性能計算應用的通信特征模型方法，包括以下步驟：步驟一、提取應用通信特征；步驟二、分析通信特征；步驟三、建立通信特征模型；步驟四、擴展分析。本發明還提供了一種面向高性能計算應用的通信特征模型系統。本發明的有益效果如下：基于HPC綜合應用環境的多層次、多手段數據采集方法對應用通信特征提取，利用多元線性回歸模型，建立應用通信特征模型，精確預測典型高性能應用在E級計算下的通信行為特征；對高性能計算的應用做通信特征模型的建立，能夠更快的找出程序的性能瓶頸，高效優化程序，提升了計算效率，更能合理的使用資源。

技術領域

本發明涉及計算機通信技術領域，尤其涉及一種面向高性能計算應用的通信特征分析方法及系統。

背景技術

高性能計算系統利用大量處理單元的聚合計算能力來滿足應用巨大的計算需求，其關鍵問題是實現眾多計算節點的大規模集成和高效協同計算，核心技術涉及高性能計算機和大規模并行應用程序。?隨著高性能計算的廣泛應用，越來越多的用戶使用并行方式執行程序用以提高大規模程序的執行速度、提升整體執行性能；這也伴隨著具有良好移植性的消息傳遞接口(Message?Passing?Interface,?MPI)的廣泛使用，性能分析工具mpiP基于MPI對程序進行性能分析，通過mpiP報告讓用戶能夠更輕易的對程序進行全局性能分析，這樣不僅提升了整體性能分析效率，也能更為便捷的獲取整個程序執行過程中每個進程的執行狀態。

mpiP是一個基于mpi并行程序的輕量級性能分析庫，其通過mpi的分析機制來收集mpi信息，因為只通過對目標代碼進行捕獲當前狀態來進行信息統計，所以產生的開銷很小。同時其獨特的捕獲狀態的方式不受編程語言的束縛，但對目標代碼的語法要求很高，不然易造成捕獲錯誤的現象。

在相關技術中，以基于MPI和OpenMP兩大主流編程模型來實現的并行程序來說，其性能分析能夠更快的找出程序的性能瓶頸，高效優化程序，以至于在接下來即將到來的E級計算時代，性能分析能較為輕易地收集并行信息，數據分配信息，通信信息，讓我們據此更為合理地分配負載給處理器，以達到大規模計算下的負載平衡，不僅提升了計算效率，更能合理的使用資源。而這也對生成大規模處理器下的性能分析報告提出了新的挑戰。如何整合報告里已有的數據信息，如何更直觀的體現程序運行狀態下的通信占比，如何對各個進程執行時間以及執行狀態做可視化。因此，如何將并行程序執行狀態下的數據快速生成可視化狀態圖已然成為研究重點。

現階段有針對MPI開發的性能分析工具mpiP，調用運行后會產生一個分析報告，報告包括進程基本信息、時間信息以及內存信息等模塊。mpiP的性能分析報告包括以下部分：

（1）標題信息提供有關您的性能實驗的基本信息。

（2）MPI?Time，這是在當前進程下計算的進程時間和所有mpi的調用時間，同時，該也包括mpi調用百分比。

（3）Callsites，該部分標識了mpi的所有調用站點。

（4）Aggregate?Time，這部分為聚合時間部分，該部分用以標識程序運行中時間消耗最多的前20個mpi調用站點。

（5）Aggregate?Sent?Message?Size,這部分為聚合數據部分，該部分用以標識程序運行中數據傳輸最多的前20個mpi調用站點。

（6）Callsite?Time?statistics，該模塊對每個調用站點的時間進行相關統計并顯示其大小。

（7）Callsite?Messsage?Sent?statistics，該模塊對每個調用站點傳輸的數據進行相關統計及并顯示其大小。

所有由mpiP捕獲的信息都是任務本地的，它僅在報告生成期間使用通信，通常在實驗結束時將所有任務的結果合并到一個輸出文件中。而這只是一個全局的總覽，對較大開銷和影響性能的部分數據不能更為直觀的體現，同時，對復雜的含多模塊函數的程序進行分析難度更大。