[發(fā)明專利]一種基于電網(wǎng)大數(shù)據(jù)平臺的數(shù)據(jù)庫性能測試系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 201911401289.7
• 申請日: 2019-12-31
• 公開（公告）號: CN111240961A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 謝琳;張林鵬;葉瑞麗;陳振宇;狄方春;黃運(yùn)豪;李大鵬;陶蕾;楊清波;崔燦;夏文躍;李宇佳;王佳琪;王巖
• 申請（專利權(quán)）人: 中國電力科學(xué)研究院有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06Q50/06
• 代理公司: 北京安博達(dá)知識產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國文

一種基于電網(wǎng)大數(shù)據(jù)平臺的數(shù)據(jù)庫性能測試系統(tǒng)和方法，所述系統(tǒng)包括：數(shù)據(jù)模板生成模塊，數(shù)據(jù)庫性能測試模塊，結(jié)果生成模塊。該系統(tǒng)和方法能夠大幅降低人工測試參與工作量大、主觀性強(qiáng)、測試效率低等問題，全面提升測試的規(guī)范化和自動(dòng)化程度，實(shí)現(xiàn)針對于電網(wǎng)大數(shù)據(jù)特點(diǎn)及數(shù)據(jù)集成需求的靈活、可靠的數(shù)據(jù)庫測試系統(tǒng)，為數(shù)據(jù)庫全面評估、選擇以及性能優(yōu)化提供可靠依據(jù)，為電網(wǎng)安全穩(wěn)定運(yùn)行和決策提供有效的技術(shù)支撐。

技術(shù)領(lǐng)域

本發(fā)明屬于電力測試技術(shù)領(lǐng)域，具體涉及一種基于電網(wǎng)大數(shù)據(jù)平臺的數(shù)據(jù)庫性能測試系統(tǒng)和方法。

背景技術(shù)

隨著智能電網(wǎng)的迅速發(fā)展，衛(wèi)星對時(shí)技術(shù)與通信技術(shù)在電力行業(yè)廣泛運(yùn)用，廣域測量系統(tǒng)(WAMS)基于同步相量測量單元高精度同步采集廣域電網(wǎng)的運(yùn)行數(shù)據(jù)，為滿足數(shù)據(jù)的綜合使用需求，大數(shù)據(jù)平臺亟需整合廣域監(jiān)測數(shù)據(jù)，并結(jié)合其他電網(wǎng)調(diào)控系統(tǒng)數(shù)據(jù)，形成統(tǒng)一的、有組織的共享資源，以及集中的數(shù)據(jù)服務(wù)環(huán)境，有利于從中分析、挖掘出有價(jià)值的信息與規(guī)律，為電網(wǎng)安全穩(wěn)定運(yùn)行和決策提供有效的技術(shù)支撐。

大數(shù)據(jù)平臺的構(gòu)建實(shí)現(xiàn)了數(shù)據(jù)的一體化存儲、管理和應(yīng)用，支持傳統(tǒng)關(guān)系數(shù)據(jù)庫、Hive、Hbase等多類數(shù)據(jù)庫，為保證海量動(dòng)態(tài)數(shù)據(jù)存儲、檢索、壓縮等功能的有效性、可靠性以及高質(zhì)量的數(shù)據(jù)服務(wù)，充分滿足大數(shù)據(jù)平臺和廣域測量系統(tǒng)對海量高頻采樣電力信息快速存儲、高效檢索的實(shí)際需求，有必要面向WAMS數(shù)據(jù)對HBase數(shù)據(jù)庫的存儲、查詢、負(fù)載等能力進(jìn)行全面且規(guī)范的性能測試，為數(shù)據(jù)庫全面評估、選擇以及性能優(yōu)化提供可靠依據(jù)。然而，目前數(shù)據(jù)庫測試工具多針對于傳統(tǒng)關(guān)系數(shù)據(jù)庫，測試規(guī)則缺乏定制化設(shè)計(jì)，且測試數(shù)據(jù)不貼合真實(shí)數(shù)據(jù)。因此，結(jié)合智能電網(wǎng)業(yè)務(wù)和數(shù)據(jù)特點(diǎn)，研發(fā)一種面向電網(wǎng)廣域監(jiān)測系統(tǒng)(WAMS)數(shù)據(jù)的HBase數(shù)據(jù)庫性能測試系統(tǒng)及方法，具有重要的現(xiàn)實(shí)意義。

發(fā)明內(nèi)容

電網(wǎng)大數(shù)據(jù)平臺整合分散于不同業(yè)務(wù)系統(tǒng)的多源異構(gòu)數(shù)據(jù)，為全面且規(guī)范的測試大數(shù)據(jù)平臺對海量高頻采樣WAMS數(shù)據(jù)的存儲、查詢能力，本發(fā)明提供一種基于電網(wǎng)大數(shù)據(jù)平臺的數(shù)據(jù)庫性能測試系統(tǒng)，包括：

數(shù)據(jù)模板生成模塊，包括通用數(shù)據(jù)模板生成單元和自定義數(shù)據(jù)模板生成單元，用于定義數(shù)據(jù)生成格式和生成模板文件；其中，所述通用數(shù)據(jù)模板生成單元通過設(shè)置表名、列族名、列的個(gè)數(shù)及大小生成數(shù)據(jù)模板配置文件，其他參數(shù)采用默認(rèn)方式系統(tǒng)隨機(jī)生成；所述自定義數(shù)據(jù)模板生成單元針對電網(wǎng)WAMS數(shù)據(jù)業(yè)務(wù)應(yīng)用測試場景設(shè)置Rowkey的組成方式、列的大小以及數(shù)據(jù)值類型，通過確定每一字段對應(yīng)的約束規(guī)則生成數(shù)據(jù)模板配置文件；

數(shù)據(jù)庫性能測試模塊，用于通過數(shù)據(jù)模板自動(dòng)生成測試數(shù)據(jù)，同時(shí)加載被測數(shù)據(jù)庫的API，按照規(guī)定的測試約束規(guī)則生成相應(yīng)的事務(wù)執(zhí)行語句進(jìn)行數(shù)據(jù)庫性能測試，實(shí)時(shí)顯示測試進(jìn)度和測試結(jié)果；其中，所述測試約束規(guī)則包括通用測試規(guī)則集和業(yè)務(wù)測試規(guī)則集；數(shù)據(jù)庫性能測試模塊進(jìn)一步包括數(shù)據(jù)寫入測試單元和數(shù)據(jù)查詢測試單元，分別用于提供數(shù)據(jù)寫入測試和數(shù)據(jù)查詢測試；

結(jié)果生成模塊，用于針對不同測試類別的測試場景分別給出不同的測試結(jié)果描述，并將最終測試結(jié)果導(dǎo)出和存儲，自動(dòng)生成測試結(jié)果文檔。

另一方面，本發(fā)明還提供一種基于電網(wǎng)大數(shù)據(jù)平臺的數(shù)據(jù)庫性能測試方法，所述方法包括以下步驟：

步驟1，進(jìn)行定義數(shù)據(jù)生成格式和生成模板文件，將模板文件導(dǎo)入數(shù)據(jù)庫性能測試模塊；

步驟2，讀取并解析所述數(shù)據(jù)模板生成模塊導(dǎo)入的模板文件，所述模板文件包含數(shù)據(jù)模板配置文件；

步驟3，按照數(shù)據(jù)模板配置文件中描述的數(shù)據(jù)結(jié)構(gòu)，自動(dòng)生成測試數(shù)據(jù)并寫入HBase數(shù)據(jù)庫；

步驟4，根據(jù)測試用例設(shè)置或修改測試約束規(guī)則配置文件中的參數(shù)以設(shè)置測試約束規(guī)則；一個(gè)配置文件描述一個(gè)測試用例；