[發(fā)明專利]一種面向云服務(wù)的工業(yè)設(shè)備大數(shù)據(jù)質(zhì)量的測試方法及架構(gòu)

有效

• 申請?zhí)枺?/td>: 201911359368.6
• 申請日: 2019-12-25
• 公開（公告）號: CN111221807B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計）人: 丁克勤;李娜;王志杰;趙娜
• 申請（專利權(quán)）人: 中國特種設(shè)備檢測研究院
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/23;G06F16/2455;G06F16/27
• 代理公司: 北京易捷勝知識產(chǎn)權(quán)代理有限公司 11613
• 代理人: 韓國勝

本發(fā)明提供了一種面向云服務(wù)的工業(yè)設(shè)備大數(shù)據(jù)質(zhì)量的測試方法及架構(gòu)，方法包括對檢測監(jiān)測終端進(jìn)行準(zhǔn)確性測試，獲取合格檢測監(jiān)測終端，利用合格檢測監(jiān)測終端獲取工業(yè)數(shù)據(jù)。云平臺獲取工業(yè)數(shù)據(jù)，并對工業(yè)數(shù)據(jù)進(jìn)行一致性對比，獲取一致性對比結(jié)果。云平臺獲取數(shù)據(jù)庫和緩存中儲存的數(shù)據(jù)，并將緩存中的數(shù)據(jù)與數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行完整性對比，獲取完整性對比結(jié)果。以工業(yè)數(shù)據(jù)的流向?yàn)橹骶€，根據(jù)工業(yè)設(shè)備檢測大數(shù)據(jù)的產(chǎn)生、傳輸及存儲的數(shù)據(jù)流向，分別采用準(zhǔn)確性對比、一致性對比、完整性對比對工業(yè)設(shè)備檢測監(jiān)測的數(shù)據(jù)進(jìn)行質(zhì)量測試，保證云平臺上工業(yè)設(shè)備檢測監(jiān)測大數(shù)據(jù)的數(shù)據(jù)質(zhì)量，進(jìn)而為工業(yè)設(shè)備云服務(wù)平臺的診斷預(yù)測功能提供了有效的數(shù)據(jù)支撐。

技術(shù)領(lǐng)域

本發(fā)明涉及工業(yè)設(shè)備領(lǐng)域，尤其涉及一種面向云服務(wù)的工業(yè)設(shè)備大數(shù)據(jù)質(zhì)量的測試方法及架構(gòu)。

背景技術(shù)

基于智能傳感器的檢測監(jiān)測數(shù)據(jù)是工業(yè)大數(shù)據(jù)搜集的重要數(shù)據(jù)來源，也是工業(yè)大數(shù)據(jù)分析的根基。由于檢測監(jiān)測數(shù)據(jù)的多源異構(gòu)性、采集終端異常、通訊協(xié)議、鏈路問題及設(shè)計缺陷等主觀或者客觀原因造成數(shù)據(jù)質(zhì)量可能出現(xiàn)問題。保證高質(zhì)有效的數(shù)據(jù)是工業(yè)大數(shù)據(jù)發(fā)揮作用的前提條件，只有數(shù)據(jù)是高質(zhì)有效的，才可能從中挖掘出潛在的、有用的信息，為在役工業(yè)設(shè)備提供診斷預(yù)測功能，才能更好的為企業(yè)提供智能評價服務(wù)。

Hadoop是目前最熱門的大數(shù)據(jù)處理架構(gòu)，該框架最核心的設(shè)計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，而MapReduce為海量的數(shù)據(jù)提供了計算。目前主要的大數(shù)據(jù)測試也是圍繞Hadoop框架展開的功能性測試和非功能性測試。

一個數(shù)據(jù)腳本或者一段數(shù)據(jù)計算邏輯，在大數(shù)據(jù)下運(yùn)行正確的前提是其功能是正確的，所以功能性測試的工作就是要保證數(shù)據(jù)的正確性，業(yè)務(wù)邏輯正確。大數(shù)據(jù)腳本也有輸入、輸出，這有點(diǎn)類似于功能測試中的后臺邏輯測試，沒有界面，一切都是后臺服務(wù)器處理的，測試人員必須要清楚整個處理流程，每個數(shù)據(jù)的流轉(zhuǎn)，每個步驟的輸入和輸出，才能判斷最后的輸出結(jié)果是否正確，對于大數(shù)據(jù)測試也是一樣，我們要清楚每個腳本的功能，每個腳本的輸入和輸出，整體數(shù)據(jù)流轉(zhuǎn)過程，來判斷大數(shù)據(jù)實(shí)現(xiàn)的功能是否正確。

由于大數(shù)據(jù)面向具體行業(yè)的應(yīng)用，除了功能性測試，在整個大數(shù)據(jù)處理框架下需要進(jìn)行非功能性測試，以下幾種：

a.性能測試：性能是評估一個大數(shù)據(jù)分析系統(tǒng)的最為關(guān)鍵的維度，大數(shù)據(jù)系統(tǒng)性能主要包括吞吐量，任務(wù)完工時間，內(nèi)存利用率等多個指標(biāo)，可反應(yīng)大數(shù)據(jù)分析平臺的處理能力，資源利用能力等性能。

b.容錯性測試：可從部分失效中自動恢復(fù)，而且不會驗(yàn)證的影響整體性能，特別地，當(dāng)故障發(fā)生時，大數(shù)據(jù)分析系統(tǒng)應(yīng)該在進(jìn)行恢復(fù)的同時繼續(xù)以可接受的方式進(jìn)行操作，在發(fā)生錯誤時某種程度上可以繼續(xù)操作。

c.可用性測試：高可用性已是大數(shù)據(jù)分析不可或缺的特性之一，從而保證數(shù)據(jù)應(yīng)用業(yè)務(wù)的連續(xù)性.大數(shù)據(jù)高可用性對很多應(yīng)用非常關(guān)鍵。

d.擴(kuò)展性測試：彈性擴(kuò)展能力對于大數(shù)據(jù)時代的文件系統(tǒng)尤其重要，文件系統(tǒng)擴(kuò)展性測試主要包括測試系統(tǒng)彈性擴(kuò)展能力(擴(kuò)展/回縮)及擴(kuò)展系統(tǒng)帶來的性能影響，驗(yàn)證是否具有線性擴(kuò)展能力,以手動測試為主。

e.穩(wěn)定性測試：大數(shù)據(jù)分析系統(tǒng)通常是不間斷長期運(yùn)行，穩(wěn)定性的重要性不言而喻，穩(wěn)定測試主要驗(yàn)證系統(tǒng)在長時間(7/30/180/365*24)允許下，系統(tǒng)是否仍然能夠正常運(yùn)行，功能是否正常。

f.部署方式測試：大數(shù)據(jù)具備scale-out的特點(diǎn)，能夠構(gòu)建大規(guī)模，高性能的文件系統(tǒng)集群。針對不同應(yīng)用和解決方案，文件系統(tǒng)部署方式會有顯著不同，一般需要根據(jù)應(yīng)用場景來設(shè)計解決方案和具體部署，再進(jìn)行手動測試。

h.壓力測試：壓力測試是驗(yàn)證系統(tǒng)造大壓力下，包括數(shù)據(jù)多客戶端，高OPS壓力，高IOPS/吞吐量壓力，系統(tǒng)是否仍然能夠正常運(yùn)行，功能是否正常，系統(tǒng)資源消耗情況，從而為大數(shù)據(jù)運(yùn)營提供依據(jù)。