[發明專利]并行程序通信模式的提取方法及系統

有效

• 申請號: 200910093067.3
• 申請日: 2009-09-22
• 公開（公告）號: CN101661409A
• 公開（公告）日: 2010-03-03
• 發明（設計）人: 鄭緯民;陳文光;翟季冬;盛田維;何江舟
• 申請（專利權）人: 清華大學
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 北京路浩知識產權代理有限公司
• 代理人: 胡小永

技術領域

本發明涉及并行程序通信模式分析領域，尤其涉及一種基于程序 切割技術的并行程序通信模式的提取方法及系統。

背景技術

通信性能是影響基于消息傳遞的并行程序性能的關鍵因素。并行 程序的通信模式可以通過三個方面衡量：通信量、通信的空間屬性和 通信的時間屬性。準確的理解并行程序的通信模式，不但可以幫助優 化并行程序的性能，而且可以輔助設計更好的通信子系統模塊，改進 基于重放技術的并行程序調試工具的開銷。

例如，英特爾公司的工具集MPIPP利用并行程序的通信模式， 優化了程序在異構網絡通信平臺上的性能，參見：H.Chen，W.G.Chen， et?al.MPIPP：An?automatic?profile-guided?parallel?process?placement toolset?for?SMP?clusters?and?multi-clusters(2006?ICS)。MPIWIZ利用并 行程序通信局部性特征優化了基于重放技術的并行程序調試工具的 開銷，參見：R.Xue，X.Liu，et?al.MPIWIZ：Subgroup?reproducible replay?of?MPI?applications(2009?PPoPP)。

并行程序的通信模式可以通過分析程序的通信記錄(Traces)獲 取。傳統的方法獲得程序的通信記錄主要是依賴基于插裝的方法，例 如ITC/ITA，KOJAK，TAU等。這些工具都需要插裝原始程序，然 后在一個全規模的并行系統上運行插裝后的程序，在執行過程中收集 通信記錄。傳統收集通信記錄的方法具有以下缺點：

(1)資源需求大：大規模并行程序一般都需要很大的并行系統 才能運行起來，例如，NPB(NAS?parallel?Benchmark，并行測試程序 程序)FT程序，測試程序的數據集包括七組，規模由小到大分別是S、 W、A、B、C、D、E，FT程序在數據集是E規模下，需要600GB 內存才能運行起來；ASCI中SAGE程序需要2000-4000個處理器才 可以運行起來。由于傳統的方法需要執行整個插裝程序，受限于資源 需求，無法在一個小規模的系統獲得所需的通信記錄。

(2)通信記錄收集時間長：盡管傳統的方法在收集通信記錄過 程中并沒有引入顯著的開銷，但是它們需要執行整個并行程序。例如， ASCI中SAGE在2000-4000個處理器上運行一次需要大約幾個月的 時間。因此，對于一個執行時間非常長的程序，傳統的方法在獲取通 信記錄上是不可接受的，尤其是對一個程序需要反復收集不同模式下 的通信記錄。

總之，傳統的基于插裝的方法獲取并行程序的通信模式資源需求 大，需要的時間長，無法在一個小規模的系統上收集大規模的并行程 序的通信模式。

發明內容

本發明的目的是提供一種并行程序通信模式的提取方法及系統， 該方法及系統可減少收集大規模并行程序通信模式的資源需求和時 間開銷，實現在小規模系統上收集大規模并行程序通信模式的目標， 以克服現有技術存在的不足。

為實現上述目的本發明采用如下技術方案。

本發明一種實施方式提供了一種并行程序通信模式的提取方法， 該方法包括步驟：

S1.解析并行程序源碼，識別所述并行程序中的通信函數調用， 確定所述通信函數中的通信變量，并將所述通信變量放入設定集合；

S2.分析所述并行程序的控制流和數據流，收集所述并行程序的 數據依賴、控制依賴以及通信依賴信息；

S3.收集所述并行程序中的調用信息，構建程序調用圖；

S4.通過基于LIVE變量傳播的切割算法對所述并行程序進行程 序切割，獲得所述并行程序的程序切片；

S5.執行所述程序切片，收集并輸出通信記錄；

S6.根據所述通信記錄，按照設定目標獲取所述并行程序的通信 模式。

其中，步驟S1進一步包括：

S1.1按照預定義的函數名識別所述并行程序中所有的通信函 數；

S1.2按照預定義的格式確定所述通信函數中的每個通信變量， 并將其放入所述設定集合。

其中，步驟S2進一步包括：

S2.1通過數據流分析，對所述并行程序中每個變量的使用和定 義之間建立鏈接關系，即數據依賴，并將所述數據依賴信息保存于使 用-定義UD數據結構；