[發明專利]一種分布式系統的系統測試方法及裝置

有效

• 申請號: 201210581715.1
• 申請日: 2012-12-27
• 公開（公告）號: CN103902447B
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 楊斐
• 申請（專利權）人: 百度在線網絡技術(北京)有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F11/30
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙)11412
• 代理人: 袁媛

1.一種分布式系統的系統測試方法，包括：

A.對線上的分布式系統進行監控，以獲取在所述線上的分布式系統上執行目標作業所依賴的第一標識文件；

B.根據線下的分布式系統的集群規模對所述第一標識文件進行修改，以獲取在所述線下的分布式系統上執行所述目標作業所依賴的第二標識文件，以及，根據所述第二標識文件獲取在所述線下的分布式系統上執行所述目標作業所依賴的輸入數據；

C.在所述線下的分布式系統上根據所述第二標識文件及獲取的輸入數據執行所述目標作業，以對所述線下的分布式系統進行測試；

其中，所述線上的分布式系統為正在線上運行的、向用戶提供服務的系統，所述線下的分布式系統為待測試的系統，標識文件包括作業程序文件、作業分塊文件以及作業配置文件。

2.根據權利要求1所述的方法，其特征在于，所述步驟A包括：

A1.從所述線上的分布式系統中提取當前作業所依賴的當前標識文件；

A2.對所述線上的分布式系統進行輪詢，以獲取當前作業的狀態；

A3.當所述狀態為執行失敗時，將所述步驟A1中提取的當前標識文件丟棄，否則將所述步驟A1中提取的當前標識文件作為所述第一標識文件。

3.根據權利要求1或2所述的方法，其特征在于，所述分布式系統為Hadoop系統。

4.根據權利要求1所述的方法，其特征在于，所述步驟B包括：

根據預設的配置修改條件對所述第一標識文件包含的作業配置文件中的配置項進行修改，以得到所述第二標識文件包含的作業配置文件，其中所述配置修改條件由所述線下系統的集群規模決定；

從在所述線上的分布式系統上執行所述目標作業所依賴的輸入數據中復制指定規模的輸入數據到所述線下的分布式系統中，以得到在所述線下的分布式系統上執行所述目標作業所依賴的輸入數據，其中所述指定規模是由所述第二標識文件包含的作業配置文件中的配置項確定的規模；

利用所述第一標識文件包含的作業分塊文件確定輸入分塊的大小，按照所述大小對復制到所述線下的分布式系統中的輸入數據進行切分，并將切分結果覆蓋至所述第一標識文件包含的作業分塊文件中，以得到所述第二標識文件包含的作業分塊文件，以及，將所述第一標識文件包含的作業程序文件作為所述第二標識文件包含的作業程序文件。

5.一種分布式系統的系統測試裝置，包括：

監控單元，用于對線上的分布式系統進行監控，以獲取在所述線上的分布式系統上執行目標作業所依賴的第一標識文件；

轉換單元，用于根據所述第一標識文件獲取在線下的分布式系統上執行目標作業所依賴的第二標識文件，以及，根據所述第二標識文件獲取在所述線下的分布式系統上執行所述目標作業所依賴的輸入數據；

提交單元，用于在所述線下的分布式系統上根據所述第二標識文件及獲取的輸入數據執行所述目標作業，以對所述線下系統進行測試；

其中，所述線上的分布式系統為正在線上運行的、向用戶提供服務的系統，所述線下的分布式系統為待測試的系統，標識文件包括作業程序文件、作業分塊文件以及作業配置文件。

6.根據權利要求5所述的裝置，其特征在于，所述監控單元包括：

提取單元，用于從所述線上的分布式系統中提取當前作業所依賴的當前標識文件；

輪詢單元，用于對所述線上的分布式系統進行輪詢，以獲取當前作業的狀態；

確定單元，用于當所述狀態為執行失敗時，將所述提取單元提取的當前標識文件丟棄，否則將所述提取單元提取的當前標識文件作為所述第一標識文件。

7.根據權利要求5或6所述的裝置，其特征在于，所述分布式系統為Hadoop系統。

8.根據權利要求5所述的裝置，其特征在于，所述轉換單元包括：

修改單元，用于根據預設的配置修改條件對所述第一標識文件包含的作業配置文件中的配置項進行修改，以得到所述第二標識文件包含的作業配置文件，其中所述配置修改條件由所述線下系統的集群規模決定；

復制單元，用于從在所述線上的分布式系統上執行所述目標作業所依賴的輸入數據中復制指定規模的輸入數據到所述線下的分布式系統中，以得到在所述線下的分布式系統上執行所述目標作業所依賴的輸入數據，其中所述指定規模是由所述第二標識文件包含的作業配置文件中的配置項確定的規模；

文件生成單元，用于利用所述第一標識文件包含的作業分塊文件確定輸入分塊的大小，按照所述大小對復制到所述線下的分布式系統中的輸入數據進行切分，并將切分結果覆蓋至所述第一標識文件包含的作業分塊文件中，以得到所述第二標識文件包含的作業分塊文件，以及，將所述第一標識文件包含的作業程序文件作為所述第二標識文件包含的作業程序文件。