[發明專利]Hadoop大數據平臺測試系統及方法

在審

• 申請號: 201610488128.6
• 申請日: 2016-06-28
• 公開（公告）號: CN107544895A
• 公開（公告）日: 2018-01-05
• 發明（設計）人: 吳洪學
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F11/36
• 代理公司: 深圳鼎合誠知識產權代理有限公司44281
• 代理人: 江婷,李發兵

1.一種Hadoop大數據平臺測試系統，包括：數據生成平臺、負載執行平臺以及測試數據存儲數據庫；

所述數據生成平臺包括數據生成管理模塊和與各Hadoop組件對應的數據生成模塊；所述負載執行平臺包括負載管理模塊和與所述各Hadoop組件對應的負載；

所述數據生成管理模塊用于接收包括被測Hadoop組件以及測試策略的測試配置文件后，根據所述測試策略選擇相應的數據生成模塊生成對應的測試數據供所述被測Hadoop組件加載；

所述負載管理模塊用于根據所述測試配置文件中的測試策略選擇對應的負載加載到所述被測Hadoop組件上進行性能測試，并獲取測試結果存儲于所述測試數據存儲數據庫中。

2.如權利要求1所述的Hadoop大數據平臺測試系統，其特征在于，還包括文件配置平臺，用于根據測試用戶下發的指令生成所述測試配置文件，并下發給所述數據生成管理模塊，或下發給所述數據生成管理模塊和所述負載管理模塊。

3.如權利要求1所述的Hadoop大數據平臺測試系統，其特征在于，還包括展示管理平臺；

所述展示管理平臺包括指標工具管理模塊、指標監測工具以及離線指標展示模塊；

所述指標工具管理模塊用于在所述被加載的負載在所述被測Hadoop組件運行進行性能測試時，向所述被測Hadoop組件下各節點主機分發并啟動指標監測工具進行主機指標采集；以及用于在所述被測Hadoop組件上的負載運行完畢后，停止所述各節點主機的指標監測工具，并匯總各指標監測工具獲取的主機指標；

所述離線指標展示模塊，用于在所述被測Hadoop組件上的負載運行完畢后，將所述匯總后得到的主機指標進行展示。

4.如權利要求3所述的Hadoop大數據平臺測試系統，其特征在于，所述展示管理平臺還包括指標實時展示模塊；

所述負載管理模塊還用于按照設定時間間隔向所述被測Hadoop組件下各節點主機下發指標實時采集指令，并接收各節點反饋的主機指標存儲到所述測試數據存儲數據庫中；

所述指標實時展示模塊用于從所述測試數據存儲數據庫中提取所述主機指標進行展示。

5.如權利要求3所述的Hadoop大數據平臺測試系統，其特征在于，所述展示管理平臺還包括測試結果展示模塊，用于從所述測試數據存儲數據庫中提取所述測試結果進行展示。

6.如權利要求1-5任一項所述的Hadoop大數據平臺測試系統，其特征在于，所述測試策略包括所述被測Hadoop組件對應的負載，以及對應所述各負載需要生成的測試數據的參數。

7.如權利要求1-5任一項所述的Hadoop大數據平臺測試系統，其特征在于，所述負載包括計算密集型負載、I/O密集型負載和混合密集型負載中的至少一種。

8.一種Hadoop大數據平臺測試方法，包括：

數據生成平臺接收包括被測Hadoop組件以及測試策略的測試配置文件，根據所述測試策略選擇相應的數據生成模塊生成對應的測試數據供所述被測Hadoop組件加載，所述數據生成平臺包括與各Hadoop組件對應的數據生成模塊；

負載執行平臺根據所述測試配置文件中的測試策略選擇對應的負載加載到所述被測Hadoop組件上進行性能測試，并獲取測試結果存儲于測試數據存儲數據庫中；所述負載執行平臺包括所述各Hadoop組件對應的負載。

9.如權利要求8所述的Hadoop大數據平臺測試方法，其特征在于，還包括：

所述負載執行平臺將所述負載加載到所述被測Hadoop組件后，按照設定時間間隔向所述被測Hadoop組件下各節點主機下發指標實時采集指令，并接收各節點反饋的主機指標存儲到所述測試數據存儲數據庫中；

展示管理平臺從所述測試數據存儲數據庫中提取所述主機指標進行展示。

10.如權利要求8或9所述的Hadoop大數據平臺測試方法，其特征在于，所述測試策略包括所述被測Hadoop組件對應的負載，以及對應這些各負載需要生成的測試數據的參數。