[發明專利]MapReduce分布式系統的測試方法及設備

有效

• 申請號: 201310109307.0
• 申請日: 2013-03-29
• 公開（公告）號: CN104077218B
• 公開（公告）日: 2018-12-14
• 發明（設計）人: 楊斐
• 申請（專利權）人: 百度在線網絡技術(北京)有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F17/30
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 袁媛

1.一種MapReduce分布式系統的測試方法，其特征在于，包括：

獲取待測試的MapReduce分布式系統的作業類型和接口類型；

根據預先配置的作業類型、接口類型與測試用例的對應關系，確定與所述作業類型和所述接口類型對應的測試用例；

利用輸入數據集，在所述MapReduce分布式系統上運行所述測試用例，以獲得測試結果。

2.根據權利要求1所述的方法，其特征在于，所述利用輸入數據集，在所述MapReduce分布式系統上運行所述測試用例，以獲得測試結果之前，還包括：

接收用戶輸入的輸入數據量；

根據所述輸入數據量，生成所述輸入數據集。

3.根據權利要求1或2所述的方法，其特征在于，所述利用輸入數據集，在所述MapReduce分布式系統上運行所述測試用例，以獲得測試結果之后，還包括：

將所述測試結果寫入第一數據庫，所述第一數據庫為一維數據庫。

4.根據權利要求3所述的方法，其特征在于，所述將所述測試結果寫入第一數據庫之后，還包括：

根據輸出參數，將所述第一數據庫中的所述測試結果寫入第二數據庫，所述第二數據庫為多維數據庫；

顯示所述第二數據庫中的所述測試結果。

5.根據權利要求1或2所述的方法，其特征在于，所述利用輸入數據集，在所述MapReduce分布式系統上運行所述測試用例，以獲得測試結果之后，還包括：

根據所述測試結果，對所述MapReduce分布式系統進行性能評估。

6.根據權利要求1或2所述的方法，其特征在于，所述作業類型包括CPU密集型、IO密集型、Map任務CPU密集型、Reduce任務IO密集型、迭代操作CPU密集型、聚類操作IO密集型和指定應用作業中的至少一個。

7.根據權利要求1或2所述的方法，其特征在于，所述接口類型包括Java接口、Streaming接口、Bistreaming接口和HCE接口中的至少一個。

8.一種MapReduce分布式系統的測試設備，其特征在于，包括：

獲取單元，用于獲取待測試的MapReduce分布式系統的作業類型和接口類型；

確定單元，用于根據預先配置的作業類型、接口類型與測試用例的對應關系，確定與所述作業類型和所述接口類型對應的測試用例；

測試單元，用于利用輸入數據集，在所述MapReduce分布式系統上運行所述測試用例，以獲得測試結果。

9.根據權利要求8所述的設備，其特征在于，所述設備還包括輸入單元，接收用戶輸入的輸入數據量；

測試單元，還用于根據所述輸入數據量，生成所述輸入數據集。

10.根據權利要求8或9所述的設備，其特征在于，所述設備還包括存儲單元，用于

將所述測試結果寫入第一數據庫，所述第一數據庫為一維數據庫。

11.根據權利要求10所述的設備，其特征在于，所述設備還包括展示單元，用于

根據輸出參數，將所述第一數據庫中的所述測試結果寫入第二數據庫，所述第二數據庫為多維數據庫；以及顯示所述第二數據庫中的所述測試結果。

12.根據權利要求8或9所述的設備，其特征在于，所述設備還包括評估單元，用于

根據所述測試結果，對所述MapReduce分布式系統進行性能評估。

13.根據權利要求8或9所述的設備，其特征在于，所述作業類型包括CPU密集型、IO密集型、Map任務CPU密集型、Reduce任務IO密集型、迭代操作CPU密集型、聚類操作IO密集型和指定應用作業中的至少一個。

14.根據權利要求8或9所述的設備，其特征在于，所述接口類型包括Java接口、Streaming接口、Bistreaming接口和HCE接口中的至少一個。