[發(fā)明專利]一種對并行程序的性能進行監(jiān)測分析的方法及裝置

在審

• 申請?zhí)枺?/td>: 201610022070.6
• 申請日: 2016-01-13
• 公開（公告）號: CN105700998A
• 公開（公告）日: 2016-06-22
• 發(fā)明（設計）人: 趙禎龍;李瑞豐
• 申請（專利權）人: 浪潮（北京）電子信息產(chǎn)業(yè)有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F11/30
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司 11227
• 代理人: 羅滿

技術領域

本發(fā)明涉及高性能程序監(jiān)測技術領域，特別是涉及一種對并行程 序的性能進行監(jiān)測分析的方法及裝置。

背景技術

并行程序優(yōu)化是當今分布式并行計算領域的一個重要問題。從編 譯角度對并行程序進行優(yōu)化是一個重要的方法，但是編譯時無法對程 序的執(zhí)行流程有一個準確的預知，例如程序的分支，以及接收用戶輸 入的參數(shù)等。所以，程序運行時的反饋信息對并行程序優(yōu)化有著關鍵 的意義。在并行程序的監(jiān)測方面已經(jīng)有大量的研究成果和成熟的工具， 通過插樁和庫包裝的方法，采集并行程序的各維度信息。

而高性能應用往往具有計算周期長、計算量大的特點。對于一個 每秒百萬億次計算能力的高性能機群系統(tǒng)來說，一個并行任務的性能 蹤跡數(shù)據(jù)非常巨大。而對于這些龐大的性能數(shù)據(jù)，并不是單臺物理機 的存儲系統(tǒng)能夠勝任的，而且采集時性能數(shù)據(jù)本身是分布在各節(jié)點之 上的，數(shù)據(jù)在匯聚時會進行大量的通信，占用網(wǎng)絡帶寬。在中小規(guī)模 機群系統(tǒng)中可以采用1對n的通信模型，當計算規(guī)模在幾十個節(jié)點以 下的時候尚可以獲得較好的性能，而當計算規(guī)模擴展到幾百甚至幾千、 上萬時，這樣的通信模式將無法滿足數(shù)據(jù)通信、數(shù)據(jù)存儲、數(shù)據(jù)分析 的要求。

發(fā)明內容

本發(fā)明的目的是提供一種對并行程序的性能進行監(jiān)測分析的方 法及裝置，目的在于解決現(xiàn)有程序性能監(jiān)測分析過程中網(wǎng)絡通信以及 分析效率較差的問題。

為解決上述技術問題，本發(fā)明提供一種對并行程序的性能進行監(jiān) 測分析的方法，包括：

對分布式并行程序的運行過程進行監(jiān)測，采集所述并行程序的性 能數(shù)據(jù)；

將采集到的所述性能數(shù)據(jù)進行分布式存儲；

對所述性能數(shù)據(jù)進行分布式并行處理，得到反映所述并行程序的 性能的分析結果信息。

可選地，所述采集所述并行程序的性能數(shù)據(jù)包括：

采集所述并行程序的各維度信息作為所述性能參數(shù)，所述維度信 息包括：函數(shù)的執(zhí)行時間、程序的硬件技術接口以及系統(tǒng)的程序信息。

可選地，所述將采集到的所述性能數(shù)據(jù)進行分布式存儲包括：

每個計算節(jié)點分別將采集到的所述性能數(shù)據(jù)異步存儲至HDFS分 布式文件系統(tǒng)中。

可選地，所述對所述性能數(shù)據(jù)進行分布式并行處理包括：

計算節(jié)點利用MapReduce模型對所述性能數(shù)據(jù)進行分布式并行 處理。

可選地，還包括：

對所述分析結果信息進行可視化顯示。

本發(fā)明還提供了一種對并行程序的性能進行監(jiān)測分析的裝置，包 括：

采集模塊，用于對分布式并行程序的運行過程進行監(jiān)測，采集所 述并行程序的性能數(shù)據(jù)；

存儲模塊，用于將采集到的所述性能數(shù)據(jù)進行分布式存儲；

處理模塊，用于對所述性能數(shù)據(jù)進行分布式并行處理，得到反映 所述并行程序的性能的分析結果信息。

可選地，所述采集模塊具體用于：

采集所述并行程序的各維度信息作為所述性能參數(shù)，所述維度信 息包括：函數(shù)的執(zhí)行時間、程序的硬件技術接口以及系統(tǒng)的程序信息。

可選地，所述存儲模塊具體用于：

每個計算節(jié)點分別將采集到的所述性能數(shù)據(jù)異步存儲至HDFS分 布式文件系統(tǒng)中。

可選地，所述處理模塊具體用于：

計算節(jié)點利用MapReduce模型對所述性能數(shù)據(jù)進行分布式并行 處理。

可選地，還包括：

顯示模塊，用于對所述分析結果信息進行可視化顯示。

本發(fā)明所提供的對并行程序的性能進行監(jiān)測分析的方法及裝置， 通過對分布式并行程序的運行過程進行監(jiān)測，采集并行程序的性能數(shù) 據(jù)；將采集到的性能數(shù)據(jù)進行分布式存儲；對性能數(shù)據(jù)進行分布式并 行處理，得到反映并行程序的性能的分析結果信息。本發(fā)明所提供的 對并行程序的性能進行監(jiān)測分析的方法及裝置，通過分布式存儲、分 布式處理的方式，避免了程序性能原始數(shù)據(jù)的匯聚對單節(jié)點機的存儲 系統(tǒng)造成的巨大壓力，改善了以往對單個單文件的處理分析方法，大 大減少了網(wǎng)絡通信量，提高了處理效率。

附圖說明