[發(fā)明專利]非侵入式Hadoop應(yīng)用性能分析裝置和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710255494.1
• 申請(qǐng)日: 2017-04-19
• 公開(kāi)（公告）號(hào): CN107423203A
• 公開(kāi)（公告）日: 2017-12-01
• 發(fā)明（設(shè)計(jì)）人: 劉鵬;王杰瑞;華幸成
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06F11/34
• 分類號(hào): G06F11/34
• 代理公司: 杭州中成專利事務(wù)所有限公司33212
• 代理人: 金祺

1.非侵入式的Hadoop應(yīng)用性能分析裝置，其特征是：包括依次信號(hào)相連的動(dòng)態(tài)追蹤模塊(110)，數(shù)據(jù)聚合模塊(120)和數(shù)據(jù)分析模塊(130)；

所述動(dòng)態(tài)追蹤模塊(110)，用于為子任務(wù)添加JVM代理程序，在子任務(wù)啟動(dòng)時(shí)通過(guò)二進(jìn)制代碼動(dòng)態(tài)插樁的方式動(dòng)態(tài)注入字節(jié)碼，對(duì)子任務(wù)的性能事件進(jìn)行動(dòng)態(tài)追蹤，并將性能事件記錄在性能日志文件中；

所述數(shù)據(jù)聚合模塊(120)，用于將集群所有節(jié)點(diǎn)中由動(dòng)態(tài)追蹤模塊(110)所記錄的性能日志文件進(jìn)行匯總處理；

所述數(shù)據(jù)分析模塊(130)，用于對(duì)通過(guò)數(shù)據(jù)聚合模塊(120)所匯總處理后得到的性能事件進(jìn)行分析，生成應(yīng)用程序性能分析結(jié)果。

2.根據(jù)權(quán)利要求1所述的非侵入式的Hadoop應(yīng)用性能分析裝置，其特征是：所述數(shù)據(jù)聚合模塊(120)包括依次信號(hào)相連的數(shù)據(jù)轉(zhuǎn)發(fā)模塊(121)、數(shù)據(jù)收集模塊(122)和數(shù)據(jù)存儲(chǔ)模塊(123)；所述數(shù)據(jù)轉(zhuǎn)發(fā)模塊(121)與動(dòng)態(tài)追蹤模塊(110)信號(hào)相連；

數(shù)據(jù)轉(zhuǎn)發(fā)模塊(121)在集群的所有從節(jié)點(diǎn)中運(yùn)行，用于將當(dāng)前節(jié)點(diǎn)中由動(dòng)態(tài)追蹤模塊(110)所記錄的性能日志文件轉(zhuǎn)發(fā)到主節(jié)點(diǎn)中；

數(shù)據(jù)收集模塊(122)在集群的主節(jié)點(diǎn)中運(yùn)行，用于將所有從節(jié)點(diǎn)中通過(guò)數(shù)據(jù)轉(zhuǎn)發(fā)模塊(121)轉(zhuǎn)發(fā)的性能日志文件匯聚到主節(jié)點(diǎn)中；

數(shù)據(jù)存儲(chǔ)模塊(123)在集群的主節(jié)點(diǎn)中運(yùn)行，用于對(duì)主節(jié)點(diǎn)中所有經(jīng)數(shù)據(jù)收集模塊(122)匯聚的性能日志文件進(jìn)行持久化處理，將性能事件結(jié)構(gòu)化存儲(chǔ)在數(shù)據(jù)庫(kù)中。

3.根據(jù)權(quán)利要求2所述的非侵入式的Hadoop應(yīng)用性能分析裝置，其特征是：所述數(shù)據(jù)分析模塊(130)包括依次信號(hào)相連的查詢統(tǒng)計(jì)模塊(131)和可視化模塊(132)；所述查詢統(tǒng)計(jì)模塊(131)與數(shù)據(jù)存儲(chǔ)模塊(123)信號(hào)相連；

查詢統(tǒng)計(jì)模塊(131)，用于查詢數(shù)據(jù)存儲(chǔ)模塊(123)所結(jié)構(gòu)化存儲(chǔ)在數(shù)據(jù)庫(kù)中原始的性能事件，生成統(tǒng)計(jì)信息；

可視化模塊(132)，根據(jù)查詢統(tǒng)計(jì)模塊(131)所生成的性能事件統(tǒng)計(jì)信息生成可視化圖表，還原應(yīng)用程序在Hadoop集群中運(yùn)行時(shí)的性能特性；

所述可視化圖表包括：

時(shí)間軸維度，還原應(yīng)用程序在Hadoop集群中運(yùn)行時(shí)子任務(wù)的調(diào)度、子任務(wù)的并行度這些信息；

數(shù)據(jù)分布維度，反映出應(yīng)用程序運(yùn)行過(guò)程中數(shù)據(jù)的流動(dòng)、數(shù)據(jù)分布的均勻性這些信息；

時(shí)間熱點(diǎn)維度，還原應(yīng)用程序中不同操作的耗時(shí)信息、識(shí)別熱點(diǎn)操作。

4.非侵入式Hadoop應(yīng)用性能分析方法，其特征是包含以下步驟：

1)、啟用性能分析：

用戶在提交作業(yè)時(shí)通過(guò)添加相應(yīng)的控制參數(shù)為應(yīng)用程序啟用性能分析；

2)、添加代理程序：

在分布式集群的所有節(jié)點(diǎn)中，通過(guò)動(dòng)態(tài)追蹤模塊(110)為子任務(wù)添加JVM代理程序，子任務(wù)的JVM代理程序在子任務(wù)啟動(dòng)時(shí)通過(guò)二進(jìn)制代碼動(dòng)態(tài)插樁的方式動(dòng)態(tài)注入字節(jié)碼；

3)、動(dòng)態(tài)追蹤并記錄：

在分布式集群的所有節(jié)點(diǎn)中，動(dòng)態(tài)追蹤模塊(110)對(duì)所有子任務(wù)的性能事件進(jìn)行動(dòng)態(tài)追蹤，生成性能日志文件；

4)、匯總性能日志文件：

數(shù)據(jù)聚合模塊(120)對(duì)分散在集群所有節(jié)點(diǎn)中的性能日志進(jìn)行聚合，將所有從節(jié)點(diǎn)中的性能日志文件匯總到主節(jié)點(diǎn)中；

5)、獲取應(yīng)用性能分析結(jié)果：

數(shù)據(jù)分析模塊(130)分析通過(guò)數(shù)據(jù)聚合模塊(120)匯總的所有子任務(wù)的性能事件，獲取應(yīng)用性能分析結(jié)果。

5.根據(jù)權(quán)利要求4所述的非侵入式的Hadoop應(yīng)用性能分析方法，其特征是：所述步驟2)中，使用Java標(biāo)準(zhǔn)API中提供的java.lang.instrument包為子任務(wù)添加JVM代理程序，JVM代理程序在JVM執(zhí)行類加載操作時(shí)對(duì)字節(jié)碼進(jìn)行修改，向原始的Java類中的目標(biāo)方法中注入字節(jié)碼，注入的字節(jié)碼會(huì)在目標(biāo)方法調(diào)用時(shí)執(zhí)行，從而動(dòng)態(tài)追蹤子任務(wù)運(yùn)行時(shí)的性能事件。

6.根據(jù)權(quán)利要求5所述的非侵入式的Hadoop應(yīng)用性能分析方法，其特征是：所述步驟3)中，動(dòng)態(tài)追蹤模塊(110)為子任務(wù)添加的JVM代理程序會(huì)創(chuàng)建一個(gè)新的事件處理線程，在該線程中使用事件監(jiān)聽(tīng)模式監(jiān)聽(tīng)指定的性能事件，從而降低動(dòng)態(tài)追蹤的性能開(kāi)銷。