[發明專利]一種基于分布式文件系統數據限流測試方法與系統

在審

• 申請號: 202010094784.4
• 申請日: 2020-02-16
• 公開（公告）號: CN111309612A
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 張東東
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F16/182
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 李修杰

1.一種基于分布式文件系統數據限流測試方法，其特征在于，所述方法包括以下操作：

在數據限流前后分別執行集群穩定性測試，包括檢查集群當前讀寫以及任務規模、記錄大規模并發執行數據讀寫時間以及帶寬占用、記錄大規模并發執行計算、流任務時間以及帶寬占用；

對數據限流前后的讀寫類數據、計算類數據以及流類數據進行數據對比，評估當前數據限流策略是否滿足要求。

2.根據權利要求1所述的一種基于分布式文件系統數據限流測試方法，其特征在于，所述記錄大規模并發執行數據讀寫時間以及帶寬占用具體為：

數據限流前：執行隨機大小文件并發讀寫任務，記錄當前并發讀寫時間T1-0，記錄任務執行過程中集群帶寬占用率BW1-0；

數據限流后：執行相同數量隨機大小文件并發讀寫任務，記錄當前并發讀寫時間T1-1，記錄任務執行過程中集群帶寬占用率BW1-1。

3.根據權利要求1所述的一種基于分布式文件系統數據限流測試方法，其特征在于，所述記錄大規模并發執行計算、流任務時間以及帶寬占用具體為：

數據限流前：執行隨機大小文件Wordcount任務，記錄當前Wordcount任務所用時間T2-0，記錄任務執行過程中集群帶寬占用率BW2-0；執行隨機大小Hive表去重任務，并將完成后的表通過Kafka存儲到HDFS，記錄當前Hive去重任務所用時間T3-0，記錄任務執行過程中集群帶寬占用率BW3-0；

數據限流后：執行相同數量隨機大小文件Wordcount任務，記錄當前Wordcount任務所用時間T2-1，記錄任務執行過程中集群帶寬占用率BW2-1；執行相同數量隨機大小Hive表去重任務，并將完成后的表通過Kafka存儲到HDFS，記錄當前Hive去重任務所用時間T3-1，記錄任務執行過程中集群帶寬占用率BW3-1。

4.根據權利要求3所述的一種基于分布式文件系統數據限流測試方法，其特征在于，當讀寫類數據存在以下情況時：

T1-1T1-0且BW1-1BW1-0

則表示數據限流達到效果，限流后數據讀寫任務受到限制，數據限流后執行任務時間更長，但帶寬占用率較低；

當計算類數據存在以下情況時：

T2-1T2-0且BW2-1BW2-0

則表示數據限流達到效果，限流后計算類任務受到限制，數據限流后執行任務時間更長，但帶寬占用率較低；

當流類數據存在以下情況時：

T3-1T3-0且BW3-1BW3-0

則表示數據限流達到效果，限流后流類任務受到限制，數據限流執行任務時間更長，但寬帶占用率較低。

5.根據權利要求1所述的一種基于分布式文件系統數據限流測試方法，其特征在于，所述方法還包括：

將測試過程所有記錄保存到日志Xianliu_Test.log中。

6.一種基于分布式文件系統數據限流測試系統，其特征在于，所述系統包括：

限流前后穩定性測試模塊，用于在數據限流前后分別執行集群穩定性測試，包括檢查集群當前讀寫以及任務規模、記錄大規模并發執行數據讀寫時間以及帶寬占用、記錄大規模并發執行計算、流任務時間以及帶寬占用；

數據對比模塊，用于對數據限流前后的讀寫類數據、計算類數據以及流類數據進行數據對比，評估當前數據限流策略是否滿足要求。

7.根據權利要求6所述的一種基于分布式文件系統數據限流測試系統，其特征在于，所述系統還包括：

日志保存模塊，用于將測試過程所有記錄保存到日志Xianliu_Test.log中。

8.一種基于分布式文件系統數據限流測試設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序，以實現根據權利要求1至5任一項所述的基于分布式文件系統數據限流測試方法。

9.一種可讀存儲介質，其特征在于，用于保存計算機程序，其中，所述計算機程序被處理器執行時實現根據權利要求1至5任一項所述的基于分布式文件系統數據限流測試方法。