[發(fā)明專利]一種面向航天數(shù)據(jù)的云數(shù)據(jù)庫負載均衡方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010111590.0
• 申請日: 2020-02-24
• 公開（公告）號: CN111414250B
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計）人: 李斌陽;顏博
• 申請（專利權(quán)）人: 國際關(guān)系學(xué)院;中國電子科技集團公司第五十四研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/27
• 代理公司: 北京市盛峰律師事務(wù)所 11337
• 代理人: 于國強

本發(fā)明涉及計算機技術(shù)領(lǐng)域，公開了一種面向航天數(shù)據(jù)的云數(shù)據(jù)庫負載均衡方法及系統(tǒng)，包括：S1)針對航天數(shù)據(jù)建立云數(shù)據(jù)庫；S2)計算云數(shù)據(jù)庫節(jié)點的當前剩余的負載承受能力；S3)將云數(shù)據(jù)庫節(jié)點作為交易者，將查詢負載作為用來交易的貨物；S4)計算交易者的購買價格和售賣價格；S5)將購買價格和售賣價格發(fā)送至競價管理者；S6)競價管理者將交易結(jié)果通知需要進行交易的云數(shù)據(jù)庫節(jié)點；S7)云數(shù)據(jù)庫節(jié)點對狀態(tài)信息進行更新以及進行數(shù)據(jù)移動；S8)判斷所有云數(shù)據(jù)庫節(jié)點是否滿足負載均衡條件。本發(fā)明通過引入競價機制，有效地解決了航天數(shù)據(jù)在查詢和應(yīng)用過程中的負載均衡問題，并提升了云數(shù)據(jù)庫應(yīng)對查詢的響應(yīng)效率，增加了整體方案的靈活性和通用性。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，尤其涉及一種面向航天數(shù)據(jù)的云數(shù)據(jù)庫負載均衡方法及系統(tǒng)。

背景技術(shù)

隨著對航天數(shù)據(jù)應(yīng)用需求的增加和諸多云數(shù)據(jù)庫系統(tǒng)的問世，負載均衡成為眾多云數(shù)據(jù)庫系統(tǒng)研究中的研究熱點。針對大型應(yīng)用系統(tǒng)的查詢訪問模式及其變化規(guī)律，提供大規(guī)模異構(gòu)數(shù)據(jù)節(jié)點環(huán)境中動態(tài)數(shù)據(jù)遷移與負載均衡機制，是提高系統(tǒng)整體查詢響應(yīng)速度的關(guān)鍵，將有效地提高系統(tǒng)的響應(yīng)能力。

早期對于傳統(tǒng)分布式環(huán)境下的查詢負載均衡問題的解決方案主要分為靜態(tài)負載均衡方法和動態(tài)負載均衡方法兩種。靜態(tài)負載均衡方法主要采用集中式的方法，根據(jù)歷史查詢請求記錄等先驗知識解決全局的負載均衡，通過對一個目標函數(shù)的最優(yōu)化求解來分配數(shù)據(jù)、負載。這種方法以定量或概率的方式在系統(tǒng)運行前對數(shù)據(jù)進行分配。如Voldemort使用固定大小的塊把數(shù)據(jù)劃分，然后將數(shù)據(jù)以塊為單位盡可能均衡的分布到各個物理硬盤上面；Riak使用了vnode的概念，然后使用多對一的方法將vnode分發(fā)到各個物理節(jié)點上。但是靜態(tài)方法沒有考慮系統(tǒng)運行時候的實時狀態(tài)，無法應(yīng)對運行過程中戶查詢請求的動態(tài)變化，因此不適用于云數(shù)據(jù)庫平臺負載均衡問題。

目前就Hadoop的HDFS平衡器、HBase的負載均衡器等多個主流開源系統(tǒng)的數(shù)據(jù)調(diào)節(jié)機制而言，其核心策略都是在發(fā)現(xiàn)節(jié)點負載分布不均勻時，按一定方式將數(shù)據(jù)塊重新分配，使其均勻的分布到其他物理節(jié)點上，但進行數(shù)據(jù)塊遷移時，并不考慮塊中具體數(shù)據(jù)庫記錄的查詢負載，這種機制對于文件系統(tǒng)的訪問負載均衡是比較高效的，但都不是針對以“記錄”為基本單位的數(shù)據(jù)庫結(jié)構(gòu)化查詢負載設(shè)計的有效機制。HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，以HBase的負載均衡策略為例，Hbase中選用默認的靜態(tài)負載均衡機制DLB，通過定時運行DLB，檢查每個RegionServer上的數(shù)據(jù)分布量，將不均勻的數(shù)據(jù)進行均勻分布。在面對負載不均衡時，DLB雖然使得服務(wù)器之間的數(shù)據(jù)塊均勻分布，但卻沒有考慮塊內(nèi)記錄的負載，使得各個服務(wù)器的查詢負載依然嚴重不平衡，容易造成由于個別節(jié)點包含大量的熱記錄，導(dǎo)致局部節(jié)點訪問過熱的情況。基于分布式文件存儲的數(shù)據(jù)庫MongoDB也同樣采用了存儲平衡代替負載均衡，它利用聚類平衡模塊計算各個節(jié)點中的塊(chunk)的數(shù)目，再將各個chunk進行再分配。Hadoop的HDFS平衡器工作方式也類似，當一個節(jié)點的使用程度與節(jié)點的平均使用程度的比值超過一個閾值，系統(tǒng)開始進行平衡。同樣，這種平衡只是以調(diào)整數(shù)據(jù)塊數(shù)的調(diào)整，并沒有考慮不同塊內(nèi)查詢負載的差異。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種面向航天數(shù)據(jù)的云數(shù)據(jù)庫負載均衡方法及系統(tǒng)，從而解決現(xiàn)有技術(shù)中的上述問題。

為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

一種面向航天數(shù)據(jù)的云數(shù)據(jù)庫負載均衡方法，包括步驟：

S1)針對航天領(lǐng)域的數(shù)據(jù)建立云數(shù)據(jù)庫，云數(shù)據(jù)庫包括數(shù)據(jù)庫管理節(jié)點和n個云數(shù)據(jù)庫節(jié)點；

S2)獲取各個云數(shù)據(jù)庫節(jié)點的處理能力和當前負載，根據(jù)各個云數(shù)據(jù)庫節(jié)點的處理能力和當前負載計算各個云數(shù)據(jù)庫節(jié)點的當前剩余的負載承受能力；

S3)將各個云數(shù)據(jù)庫節(jié)點作為交易者，交易者為購買者或出售者；將查詢負載作為市場中用來交易的貨物；

S4)根據(jù)當前剩余的負載承受能力計算交易者的購買價格和售賣價格；