[發(fā)明專利]一種面向流數(shù)據(jù)的多模數(shù)據(jù)庫評測基準(zhǔn)系統(tǒng)及其構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 202110275224.3
• 申請日: 2021-03-15
• 公開（公告）號: CN112948228B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 葉楓;王志堅(jiān);王皙雯;李凌
• 申請（專利權(quán)）人: 河海大學(xué)
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/25;G06F16/2455
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 王安琪

本發(fā)明公開了一種面向流數(shù)據(jù)的多模數(shù)據(jù)庫評測基準(zhǔn)系統(tǒng)及其構(gòu)建方法，系統(tǒng)包括：基礎(chǔ)設(shè)施層、消息傳輸層、工作負(fù)載執(zhí)行器和評測基準(zhǔn)系統(tǒng)界面層；自下向上依次排布。方法包括如下步驟：(1)安裝配置Apache?CloudStack；(2)基礎(chǔ)設(shè)施虛擬化；(3)在消息傳輸層，基于Kafka，采用異步消息傳遞微服務(wù)設(shè)計(jì)模式，實(shí)現(xiàn)通過使用Kafka與各種多模數(shù)據(jù)庫進(jìn)行交互的邏輯；(4)在工作負(fù)載執(zhí)行器，實(shí)現(xiàn)不同的請求數(shù)據(jù)分布方式；(5)在工作負(fù)載執(zhí)行器，實(shí)現(xiàn)各個(gè)多模數(shù)據(jù)庫針對不同模型數(shù)據(jù)的負(fù)載操作；(6)在評測基準(zhǔn)系統(tǒng)界面層，完成評測基準(zhǔn)系統(tǒng)界面的設(shè)計(jì)并實(shí)現(xiàn)與后臺的連接，用戶可以方便地進(jìn)行多模數(shù)據(jù)庫的選擇和相關(guān)負(fù)載的設(shè)定與執(zhí)行，并為測試結(jié)果提供可視區(qū)域。

技術(shù)領(lǐng)域

本發(fā)明涉及軟件性能評測與度量分析技術(shù)領(lǐng)域，尤其是一種面向流數(shù)據(jù)的多模數(shù)據(jù)庫評測基準(zhǔn)系統(tǒng)及其構(gòu)建方法。

背景技術(shù)

隨著世界變得更加儀器化和互聯(lián)化，我們正目睹由各種硬件或軟件生成的各種結(jié)構(gòu)的數(shù)據(jù)洪流。這些數(shù)據(jù)根據(jù)結(jié)構(gòu)分類被劃分為三種：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。面對大規(guī)模多結(jié)構(gòu)的數(shù)據(jù)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫存在以下問題：(1)只能提供關(guān)系型數(shù)據(jù)的存儲和管理；(2)面對大規(guī)模的數(shù)據(jù)處理效率低下，甚至無法實(shí)現(xiàn)；(3)?固定的表結(jié)構(gòu)，靈活度稍欠；(4)高并發(fā)讀寫需求，對傳統(tǒng)關(guān)系型數(shù)據(jù)庫來說，硬盤I/O?是一個(gè)很大的瓶頸。而數(shù)據(jù)類型單一化的NoSQL數(shù)據(jù)庫又不能滿足同時(shí)存儲多模型數(shù)據(jù)的需求。如今，快速發(fā)展的多模數(shù)據(jù)庫為這一問題提供了新的解決方案。多模數(shù)據(jù)庫可以理解為在一個(gè)管理系統(tǒng)下能夠以不同格式(關(guān)系、文檔、圖形、對象等)存儲數(shù)據(jù)的數(shù)據(jù)庫。然而，主流的多模數(shù)據(jù)庫產(chǎn)物的異構(gòu)性阻礙了對給定應(yīng)用程序上下文的合理選擇。

評測基準(zhǔn)是系統(tǒng)選擇、開發(fā)和優(yōu)化(包括NoSQL數(shù)據(jù)庫)的重要驅(qū)動力。但現(xiàn)有的研究表明，缺乏針對多模型數(shù)據(jù)庫評估的大數(shù)據(jù)基準(zhǔn)。這使得這樣復(fù)雜的數(shù)據(jù)庫產(chǎn)品的性能是未知的。目前，已有許多大數(shù)據(jù)基準(zhǔn)評測平臺或工具，如YCSB、YCSB++、?BigDataBench。但是，它們都是針對NoSQL數(shù)據(jù)庫或多模數(shù)據(jù)庫所支持的一種數(shù)據(jù)模型，例如YCSB只能夠測試OrientDB涉及文檔數(shù)據(jù)的性能。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題在于，提供一種面向流數(shù)據(jù)的多模數(shù)據(jù)庫評測基準(zhǔn)系統(tǒng)及其構(gòu)建方法，為多模數(shù)據(jù)庫的選擇提供可量化比較的方案。

為解決上述技術(shù)問題，本發(fā)明提供一種面向流數(shù)據(jù)的多模數(shù)據(jù)庫評測基準(zhǔn)系統(tǒng)，包括：基礎(chǔ)設(shè)施層、消息傳輸層、工作負(fù)載執(zhí)行器和評測基準(zhǔn)系統(tǒng)界面層；自下向上依次排布。

優(yōu)選的，基礎(chǔ)設(shè)施層一共涉及4種多模數(shù)據(jù)庫：ArangoDB(鍵值、文檔和圖數(shù)據(jù))、OrientDB(鍵值、文檔和圖數(shù)據(jù))、Couchbase(鍵值和文檔數(shù)據(jù))和DynamoDB(列族、鍵值、文檔和圖數(shù)據(jù))；其本質(zhì)是一個(gè)計(jì)算機(jī)集群或云計(jì)算環(huán)境，為多模型數(shù)據(jù)庫提供硬件基礎(chǔ)或虛擬機(jī)運(yùn)行時(shí)環(huán)境。

優(yōu)選的，消息傳輸層用來實(shí)現(xiàn)消息到多模數(shù)據(jù)庫的傳輸。為了模擬流數(shù)據(jù)傳輸?shù)恼鎸?shí)情況，使用消息傳輸機(jī)制Kafka，基于典型的異步消息傳遞微服務(wù)設(shè)計(jì)模式，提供了豐富的特性來支持流數(shù)據(jù)的生成、處理、緩存和傳輸，通過使用Kafka與各種多模數(shù)據(jù)庫進(jìn)行交互。

優(yōu)選的，工作負(fù)載執(zhí)行器用來實(shí)現(xiàn)多模數(shù)據(jù)庫的不同的數(shù)據(jù)請求分布方式和負(fù)載操作，具體地，系統(tǒng)共提供了Zipfian(根據(jù)Zipfian分布來選擇數(shù)據(jù))、Uniform(等概率讀取數(shù)據(jù))和Latest(最新的數(shù)據(jù)優(yōu)先讀取)3種分布方式，以滿足不同場景的需求；為了盡可能全面地測試各種多模數(shù)據(jù)庫的性能，針對不同數(shù)據(jù)模型，系統(tǒng)為各個(gè)多模數(shù)據(jù)庫提供了添加、查詢、刪除、更新、最短路徑計(jì)算和掃描6種工作負(fù)載，并獲得不同多模數(shù)據(jù)庫的相應(yīng)負(fù)載操作的執(zhí)行時(shí)間。

優(yōu)選的，評測基準(zhǔn)系統(tǒng)界面層分為多模數(shù)據(jù)庫初始化區(qū)、工作負(fù)載選擇區(qū)和結(jié)果顯示區(qū)。多模數(shù)據(jù)庫初始化區(qū)主要供用戶查看連接設(shè)置、數(shù)據(jù)導(dǎo)入情況；工作負(fù)載選擇區(qū)使用戶能夠方便地選擇工作負(fù)載類型和參數(shù)設(shè)置；結(jié)果顯示區(qū)用來顯示執(zhí)行時(shí)間和工作負(fù)載信息供用戶參考。