[發明專利]一種面向流數據的多模數據庫評測基準系統及其構建方法

有效

• 申請號: 202110275224.3
• 申請日: 2021-03-15
• 公開（公告）號: CN112948228B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 葉楓;王志堅;王皙雯;李凌
• 申請（專利權）人: 河海大學
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/25;G06F16/2455
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王安琪

1.一種面向流數據的多模數據庫評測基準系統的構建方法，其特征在于，包括如下步驟：

(1)安裝配置Apache?CloudStack；Apache?CloudStack作為一個開源云計算解決方案，使得用戶方便地管理虛擬機群；

(2)基礎設施虛擬化；利用服務器虛擬化技術，擴展出多個配置完全一致的虛擬服務器，在各個虛擬服務器上安裝所需要測評的多模數據庫，并搭建相應的多模數據庫集群；

(3)在消息傳輸層，利用消息傳輸機制是Apache?Kafka，采用異步消息傳遞微服務設計模式，實現與多模數據庫的連接和多模流數據的發送，即通過Kafka，實現向各個多模數據庫中交互數據的邏輯；

(4)在工作負載執行器，實現不同的請求數據分布方式；為每一類型的數據分布方式創建具體的類，實現記錄項的選擇；對于Uniform分布，輸入主鍵的最小值和最大值，生成一個兩值之間的隨機數，即為所需的記錄項；對于Latest分布，根據多模數據庫需要執行的操作數檢索最新插入的記錄即可；Zipfian分布的實現最為復雜，假定多模數據庫中的數據按受歡迎程度依次排序；

(5)在工作負載執行器，實現各多模數據庫針對不同模型數據的操作，包括：添加操作、查詢操作、刪除操作、更新操作、圖的最短路徑計算和掃描操作，并獲得不同多模數據庫的相應負載操作的執行時間；

(6)完成評測基準系統界面的設計并實現與后臺的連接，使用戶方便地進行選擇和操作并為測試結果提供可視區域；評測基準系統界面一共分為如下3個部分：

(a)多模數據庫初始化區；可視區域分為兩部分，第一部分羅列了本系統支持的多模數據庫名稱，用戶選擇待測試的多模數據庫并點擊連接按鈕，多模數據庫連接成功后按鈕會切換為已連接狀態，否則報錯，以確保后續測試能夠正常進行；第二部分羅列了所選多模數據庫支持的數據模型，用戶通過選擇待測試的數據模型，并填入希望測試的數據量后，將系統提供的相應數據集導入到數據庫中，以執行后續查詢、刪除等6種工作負載；

(b)工作負載選擇區；用戶在可視區域選擇需要實現的操作、數據類型和數據請求分布方式，并且需要填寫所需執行的操作數；用戶完成所有工作負載的參數選擇后，點擊執行按鈕，數據庫即開始執行操作；同時，在可視區域還提供了清空數據庫這一選項，當完成一個多模數據庫的測試后，用戶點擊該按鈕，將多模數據庫中現有的數據刪除，或為確保每一多模數據庫不存在多余數據，在測試前點擊該按鈕；

(c)結果展示區；當數據庫完成相應的操作后，系統會在可視區域將結果顯示出來，包括執行時間，工作負載的相關信息。

2.如權利要求1所述的面向流數據的多模數據庫評測基準系統的構建方法，其特征在于，步驟(3)中，在消息傳輸層，利用消息傳輸機制是Apache?Kafka，采用異步消息傳遞微服務設計模式，實現多模數據庫的連接和多模流數據的發送，即實現向各個多模數據庫中插入數據的邏輯，具體步驟為：

輸入：多模數據庫的名稱，對應的數據類型，操作數；

輸出：Kafka流數據；

首先，判斷多模數據庫名稱是否正確并連接該多模數據庫；連接成功后，判斷對應的數據類型，將多模流數據寫入到Kafka中；最后，消費者將Kafka中緩存的消息進行消費，即以流數據的形式用特定的執行語句將數據寫入到相應的多模數據庫中。

3.如權利要求1所述的面向流數據的多模數據庫評測基準系統的構建方法，其特征在于，步驟(4)中，首先假定多模數據庫中的數據按受歡迎程度依次排序，具體算法步驟如下：

輸入：min，max

輸出：zeta(記錄項)

min為最熱的記錄id，max則為流行度最低的記錄id；假設數據庫中共有n條記錄，則min為0，max為n-1；首先預先計算prezeta值為∑_iⁿ_＝-1₀1/(Math.pow(i+1,constant))，其中theta為Zipfian分布中的常量，設置為0.99；接著使用zeta值和指定的Zipfian常量計算一個介于min和max之間的項。