[發明專利]MapReduce分布式系統的測試方法及設備

有效

• 申請號: 201310109307.0
• 申請日: 2013-03-29
• 公開（公告）號: CN104077218B
• 公開（公告）日: 2018-12-14
• 發明（設計）人: 楊斐
• 申請（專利權）人: 百度在線網絡技術(北京)有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F17/30
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 袁媛

本發明提供一種MapReduce分布式系統的測試方法及設備。本發明實施例通過獲取待測試的MapReduce分布式系統的作業類型和接口類型，進而根據預先配置的作業類型、接口類型與測試用例的對應關系，確定與所述作業類型和所述接口類型對應的測試用例，使得能夠利用輸入數據集，在所述MapReduce分布式系統上運行所述測試用例，以獲得測試結果，由于采用與MapReduce分布式系統的作業類型和接口類型對應的測試用例進行性能測試，因此，可以全面地對MapReduce分布式系統的性能進行基準測試，從而提高了測試的可靠性和全面性。

【技術領域】

本發明涉及通信技術，尤其涉及一種MapReduce分布式系統的測試方法及設備。

【背景技術】

近年來，隨著寬帶網絡技術與并行計算理論的快速發展，一種更簡化的分布式系統即映射和匯總（MapReduce）分布式系統應運而生，以為多種應用提供服務，例如，為搜索引擎提供服務。在MapReduce分布式系統，例如，Hadoop系統，中，一個數據處理過程稱為一個作業（Job），Job提交之后，將待處理數據分為N份，每份待處理數據由一個映射（Map）任務進行處理，Map任務運行在該MapReduce分布式系統中的一個節點設備上，一個節點設備上可以運行一個或多個Map任務；所有Map任務的輸出結果由匯總（Reduce）任務進行匯總，輸出對應的結果。其中，Hadoop是阿帕奇軟件基金下的一個開源項目。

為了評估MapReduce分布式系統的優劣，可以對MapReduce分布式系統的性能進行測試。然而，現有的測試方法中，對MapReduce分布式系統的性能測試得比較片面，從而導致了測試的可靠性和全面性的降低。

【發明內容】

本發明的多個方面提供一種MapReduce分布式系統的測試方法及設備，用以提高測試的可靠性和全面性。

本發明的一方面，提供一種MapReduce分布式系統的測試方法，包括：

獲取待測試的MapReduce分布式系統的作業類型和接口類型；

根據預先配置的作業類型、接口類型與測試用例的對應關系，確定與所述作業類型和所述接口類型對應的測試用例；

利用輸入數據集，在所述MapReduce分布式系統上運行所述測試用例，以獲得測試結果。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述利用生成的輸入數據集，在所述MapReduce分布式系統上運行所述測試用例，以獲得測試結果之前，還包括：

接收用戶輸入的輸入數據量；

根據所述輸入數據量，生成所述輸入數據集。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述利用輸入數據集，在所述MapReduce分布式系統上運行所述測試用例，以獲得測試結果之后，還包括：

將所述測試結果寫入第一數據庫，所述第一數據庫為一維數據庫。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述將所述測試結果寫入第一數據庫之后，還包括：

根據輸出參數，將所述第一數據庫中的所述測試結果寫入第二數據庫，所述第二數據庫為多維數據庫；

顯示所述第二數據庫中的所述測試結果。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述利用輸入數據集，在所述MapReduce分布式系統上運行所述測試用例，以獲得測試結果之后，還包括：

根據所述測試結果，對所述MapReduce分布式系統進行性能評估。