[發(fā)明專利]一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測試方法與系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010094784.4
• 申請日: 2020-02-16
• 公開（公告）號: CN111309612A
• 公開（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 張東東
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F16/182
• 代理公司: 濟(jì)南誠智商標(biāo)專利事務(wù)所有限公司 37105
• 代理人: 李修杰

本發(fā)明提供了一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測試方法與系統(tǒng)，本發(fā)明通過在數(shù)據(jù)限流前后對集群穩(wěn)定性進(jìn)行測試，包括檢查集群當(dāng)前讀寫以及任務(wù)規(guī)模、大規(guī)模并發(fā)執(zhí)行數(shù)據(jù)讀寫時(shí)間以及帶寬占用記錄、大規(guī)模并發(fā)執(zhí)行計(jì)算、流任務(wù)時(shí)間以及帶寬占用記錄，并對數(shù)據(jù)限流前后進(jìn)行數(shù)據(jù)對比，從而評估生產(chǎn)環(huán)境中大規(guī)模HDFS集群數(shù)據(jù)限流是否能達(dá)到數(shù)據(jù)限流效益，以準(zhǔn)確評估數(shù)據(jù)限流策略達(dá)到的效果，為HDFS數(shù)據(jù)限流技術(shù)革新提供評估結(jié)果，為大數(shù)據(jù)集群穩(wěn)定性提高一個(gè)維度。

技術(shù)領(lǐng)域

本發(fā)明涉及服務(wù)器集群技術(shù)領(lǐng)域，特別是一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測試方法與系統(tǒng)。

背景技術(shù)

隨著Hadoop社區(qū)技術(shù)發(fā)展，HDFS陸陸續(xù)續(xù)支持不同的存儲(chǔ)策略來應(yīng)對不同溫度的數(shù)據(jù)，采用SSM實(shí)現(xiàn)更加智能化的存儲(chǔ)管理，HDFS高可用也陸陸續(xù)續(xù)完善，已經(jīng)實(shí)現(xiàn)聯(lián)邦應(yīng)對更高數(shù)據(jù)級的大規(guī)模集群數(shù)據(jù)。隨著數(shù)據(jù)量日益劇增，高存儲(chǔ)效率、高可靠的完善均走在前一步，但大規(guī)模集群數(shù)量以指數(shù)上升的今天，底層數(shù)據(jù)節(jié)點(diǎn)已經(jīng)出現(xiàn)了力不從心狀態(tài)，集群中源源不斷的有數(shù)據(jù)存儲(chǔ)進(jìn)來，有任務(wù)運(yùn)行起來，軟件層面的存儲(chǔ)效率和計(jì)算力已經(jīng)有SSM和更高計(jì)算力的Spark、Flink等完善，但這樣源源不斷的數(shù)據(jù)流和任務(wù)占盡了大量的網(wǎng)絡(luò)帶寬，大規(guī)模集群中的數(shù)據(jù)讀寫非常頻繁，數(shù)據(jù)傳數(shù)量很大，計(jì)算、流類任務(wù)量大，一臺(tái)機(jī)器的網(wǎng)絡(luò)帶寬必定是有限的，如果帶寬被這臺(tái)機(jī)器上的某些任務(wù)用滿的話，就會(huì)造成正常任務(wù)網(wǎng)絡(luò)傳輸數(shù)據(jù)受到影響。如果帶寬長時(shí)間被打滿，還會(huì)造成機(jī)器IO報(bào)警，限流的目的正在于此。可能造成網(wǎng)絡(luò)帶寬迅速被占滿的不一定都是惡意的程序或服務(wù)，程序中一個(gè)疏忽的處理或小錯(cuò)誤都可能造成大規(guī)模數(shù)據(jù)的傳輸。

為解決當(dāng)前HDFS大規(guī)模集群中跑幾個(gè)大任務(wù)導(dǎo)致機(jī)房網(wǎng)絡(luò)帶寬瞬間打滿，導(dǎo)致線上部分服務(wù)抖動(dòng)，影響其他服務(wù)運(yùn)行，Hadoop社區(qū)已提出了在Datanode端的限制方案，但還未完全完善一系列相關(guān)功能發(fā)布。此類以Hadoop系統(tǒng)生態(tài)圈為代表的大規(guī)模集群優(yōu)化技術(shù)，將會(huì)提高當(dāng)前HDFS集群穩(wěn)定性一個(gè)維度，防范未然。將數(shù)據(jù)限流相關(guān)類似操作限制在DataNode，以保證集群穩(wěn)定性。隨著大數(shù)據(jù)日益劇增，隨著該功能的完善、Hadoop社區(qū)補(bǔ)丁的更新以及后續(xù)新版本的發(fā)布，數(shù)據(jù)限流會(huì)越來越完善，針對如此智能化又復(fù)雜的調(diào)優(yōu)方案，如何評估該數(shù)據(jù)限流是否能達(dá)到相應(yīng)的效益，集群中的數(shù)據(jù)操作、任務(wù)是否已被智能化地限制管理，如何評估數(shù)據(jù)限流策略的效益，是本領(lǐng)域技術(shù)人員急需解決的一個(gè)重要問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測試方法與系統(tǒng)，旨在解決現(xiàn)有技術(shù)中缺少數(shù)據(jù)限流策略評價(jià)的問題，實(shí)現(xiàn)準(zhǔn)確評估數(shù)據(jù)限流策略達(dá)到的效果，提高大數(shù)據(jù)集群穩(wěn)定性。

為達(dá)到上述技術(shù)目的，本發(fā)明提供了一種基于分布式文件系統(tǒng)數(shù)據(jù)限流測試方法，所述方法包括以下操作：

在數(shù)據(jù)限流前后分別執(zhí)行集群穩(wěn)定性測試，包括檢查集群當(dāng)前讀寫以及任務(wù)規(guī)模、記錄大規(guī)模并發(fā)執(zhí)行數(shù)據(jù)讀寫時(shí)間以及帶寬占用、記錄大規(guī)模并發(fā)執(zhí)行計(jì)算、流任務(wù)時(shí)間以及帶寬占用；

對數(shù)據(jù)限流前后的讀寫類數(shù)據(jù)、計(jì)算類數(shù)據(jù)以及流類數(shù)據(jù)進(jìn)行數(shù)據(jù)對比，評估當(dāng)前數(shù)據(jù)限流策略是否滿足要求。

優(yōu)選地，所述記錄大規(guī)模并發(fā)執(zhí)行數(shù)據(jù)讀寫時(shí)間以及帶寬占用具體為：

數(shù)據(jù)限流前：執(zhí)行隨機(jī)大小文件并發(fā)讀寫任務(wù)，記錄當(dāng)前并發(fā)讀寫時(shí)間T1-0，記錄任務(wù)執(zhí)行過程中集群帶寬占用率BW1-0；

數(shù)據(jù)限流后：執(zhí)行相同數(shù)量隨機(jī)大小文件并發(fā)讀寫任務(wù)，記錄當(dāng)前并發(fā)讀寫時(shí)間T1-1，記錄任務(wù)執(zhí)行過程中集群帶寬占用率BW1-1。

優(yōu)選地，所述記錄大規(guī)模并發(fā)執(zhí)行計(jì)算、流任務(wù)時(shí)間以及帶寬占用具體為：