[發(fā)明專(zhuān)利]一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試方法與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010094784.4
• 申請(qǐng)日: 2020-02-16
• 公開(kāi)（公告）號(hào): CN111309612A
• 公開(kāi)（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 張東東
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類(lèi)號(hào): G06F11/36
• 分類(lèi)號(hào): G06F11/36;G06F16/182
• 代理公司: 濟(jì)南誠(chéng)智商標(biāo)專(zhuān)利事務(wù)所有限公司 37105
• 代理人: 李修杰

1.一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試方法，其特征在于，所述方法包括以下操作：

在數(shù)據(jù)限流前后分別執(zhí)行集群穩(wěn)定性測(cè)試，包括檢查集群當(dāng)前讀寫(xiě)以及任務(wù)規(guī)模、記錄大規(guī)模并發(fā)執(zhí)行數(shù)據(jù)讀寫(xiě)時(shí)間以及帶寬占用、記錄大規(guī)模并發(fā)執(zhí)行計(jì)算、流任務(wù)時(shí)間以及帶寬占用；

對(duì)數(shù)據(jù)限流前后的讀寫(xiě)類(lèi)數(shù)據(jù)、計(jì)算類(lèi)數(shù)據(jù)以及流類(lèi)數(shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)比，評(píng)估當(dāng)前數(shù)據(jù)限流策略是否滿(mǎn)足要求。

2.根據(jù)權(quán)利要求1所述的一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試方法，其特征在于，所述記錄大規(guī)模并發(fā)執(zhí)行數(shù)據(jù)讀寫(xiě)時(shí)間以及帶寬占用具體為：

數(shù)據(jù)限流前：執(zhí)行隨機(jī)大小文件并發(fā)讀寫(xiě)任務(wù)，記錄當(dāng)前并發(fā)讀寫(xiě)時(shí)間T1-0，記錄任務(wù)執(zhí)行過(guò)程中集群帶寬占用率BW1-0；

數(shù)據(jù)限流后：執(zhí)行相同數(shù)量隨機(jī)大小文件并發(fā)讀寫(xiě)任務(wù)，記錄當(dāng)前并發(fā)讀寫(xiě)時(shí)間T1-1，記錄任務(wù)執(zhí)行過(guò)程中集群帶寬占用率BW1-1。

3.根據(jù)權(quán)利要求1所述的一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試方法，其特征在于，所述記錄大規(guī)模并發(fā)執(zhí)行計(jì)算、流任務(wù)時(shí)間以及帶寬占用具體為：

數(shù)據(jù)限流前：執(zhí)行隨機(jī)大小文件Wordcount任務(wù)，記錄當(dāng)前Wordcount任務(wù)所用時(shí)間T2-0，記錄任務(wù)執(zhí)行過(guò)程中集群帶寬占用率BW2-0；執(zhí)行隨機(jī)大小Hive表去重任務(wù)，并將完成后的表通過(guò)Kafka存儲(chǔ)到HDFS，記錄當(dāng)前Hive去重任務(wù)所用時(shí)間T3-0，記錄任務(wù)執(zhí)行過(guò)程中集群帶寬占用率BW3-0；

數(shù)據(jù)限流后：執(zhí)行相同數(shù)量隨機(jī)大小文件Wordcount任務(wù)，記錄當(dāng)前Wordcount任務(wù)所用時(shí)間T2-1，記錄任務(wù)執(zhí)行過(guò)程中集群帶寬占用率BW2-1；執(zhí)行相同數(shù)量隨機(jī)大小Hive表去重任務(wù)，并將完成后的表通過(guò)Kafka存儲(chǔ)到HDFS，記錄當(dāng)前Hive去重任務(wù)所用時(shí)間T3-1，記錄任務(wù)執(zhí)行過(guò)程中集群帶寬占用率BW3-1。

4.根據(jù)權(quán)利要求3所述的一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試方法，其特征在于，當(dāng)讀寫(xiě)類(lèi)數(shù)據(jù)存在以下情況時(shí)：

T1-1T1-0且BW1-1BW1-0

則表示數(shù)據(jù)限流達(dá)到效果，限流后數(shù)據(jù)讀寫(xiě)任務(wù)受到限制，數(shù)據(jù)限流后執(zhí)行任務(wù)時(shí)間更長(zhǎng)，但帶寬占用率較低；

當(dāng)計(jì)算類(lèi)數(shù)據(jù)存在以下情況時(shí)：

T2-1T2-0且BW2-1BW2-0

則表示數(shù)據(jù)限流達(dá)到效果，限流后計(jì)算類(lèi)任務(wù)受到限制，數(shù)據(jù)限流后執(zhí)行任務(wù)時(shí)間更長(zhǎng)，但帶寬占用率較低；

當(dāng)流類(lèi)數(shù)據(jù)存在以下情況時(shí)：

T3-1T3-0且BW3-1BW3-0

則表示數(shù)據(jù)限流達(dá)到效果，限流后流類(lèi)任務(wù)受到限制，數(shù)據(jù)限流執(zhí)行任務(wù)時(shí)間更長(zhǎng)，但寬帶占用率較低。

5.根據(jù)權(quán)利要求1所述的一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試方法，其特征在于，所述方法還包括：

將測(cè)試過(guò)程所有記錄保存到日志Xianliu_Test.log中。

6.一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試系統(tǒng)，其特征在于，所述系統(tǒng)包括：

限流前后穩(wěn)定性測(cè)試模塊，用于在數(shù)據(jù)限流前后分別執(zhí)行集群穩(wěn)定性測(cè)試，包括檢查集群當(dāng)前讀寫(xiě)以及任務(wù)規(guī)模、記錄大規(guī)模并發(fā)執(zhí)行數(shù)據(jù)讀寫(xiě)時(shí)間以及帶寬占用、記錄大規(guī)模并發(fā)執(zhí)行計(jì)算、流任務(wù)時(shí)間以及帶寬占用；

數(shù)據(jù)對(duì)比模塊，用于對(duì)數(shù)據(jù)限流前后的讀寫(xiě)類(lèi)數(shù)據(jù)、計(jì)算類(lèi)數(shù)據(jù)以及流類(lèi)數(shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)比，評(píng)估當(dāng)前數(shù)據(jù)限流策略是否滿(mǎn)足要求。

7.根據(jù)權(quán)利要求6所述的一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

日志保存模塊，用于將測(cè)試過(guò)程所有記錄保存到日志Xianliu_Test.log中。

8.一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試設(shè)備，其特征在于，包括：

存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；

處理器，用于執(zhí)行所述計(jì)算機(jī)程序，以實(shí)現(xiàn)根據(jù)權(quán)利要求1至5任一項(xiàng)所述的基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試方法。

9.一種可讀存儲(chǔ)介質(zhì)，其特征在于，用于保存計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至5任一項(xiàng)所述的基于分布式文件系統(tǒng)數(shù)據(jù)限流測(cè)試方法。