[發(fā)明專利]一種分布式數(shù)據(jù)庫集群系統(tǒng)數(shù)據(jù)分流方法

在審

• 申請?zhí)枺?/td>: 202110254934.8
• 申請日: 2021-03-09
• 公開（公告）號: CN112632193A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 況忠強;王漢瑛;吳生勇;謝旭東;蘇德財;李尤兵;曹茜;馮治龍;明玉琢;李文彬;許雄基
• 申請（專利權(quán)）人: 成都虛谷偉業(yè)科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2458;G06F16/22
• 代理公司: 成都聚蓉眾享知識產(chǎn)權(quán)代理有限公司 51291
• 代理人: 張輝

本發(fā)明公開了一種分布式數(shù)據(jù)庫集群系統(tǒng)數(shù)據(jù)分流方法，包括如下步驟：設(shè)置主控服務(wù)器并設(shè)置所管理的數(shù)據(jù)對象；設(shè)置數(shù)據(jù)對象的標識，關(guān)聯(lián)主控服務(wù)器；設(shè)置工作服務(wù)器；設(shè)置存儲服務(wù)器；主控服務(wù)器分別連接工作服務(wù)器與存儲服務(wù)器；客戶端連通工作服務(wù)器；工作服務(wù)器接收請求信息流，處理后轉(zhuǎn)化為控制信息流；識別控制信息流，將該控制信息流與數(shù)據(jù)對象進行匹配；生成處理后的控制信息流并將其輸出至存儲服務(wù)器；調(diào)取與元數(shù)據(jù)對應(yīng)的數(shù)據(jù)并轉(zhuǎn)化為數(shù)據(jù)信息流；工作服務(wù)器獲取數(shù)據(jù)信息流，處理后生成處理結(jié)果集，輸出至客戶端。本發(fā)明極大的降低了網(wǎng)絡(luò)流量，減輕了主控服務(wù)器的工作負載。

技術(shù)領(lǐng)域

本發(fā)明屬于分布式數(shù)據(jù)庫技術(shù)領(lǐng)域，具體涉及一種分布式數(shù)據(jù)庫集群系統(tǒng)數(shù)據(jù)分流方法。

背景技術(shù)

分布式數(shù)據(jù)庫系統(tǒng)通常使用較小的計算機系統(tǒng)，每臺計算機中都可能有DBMS的一份完整拷貝副本，或者部分拷貝副本，并具有自己局部的數(shù)據(jù)庫，位于不同地點的許多計算機通過網(wǎng)絡(luò)互相連接，共同組成一個完整的、全局的邏輯上集中、物理上分布的大型數(shù)據(jù)庫。

分布式數(shù)據(jù)庫的數(shù)據(jù)處理一般是由主控服務(wù)器、工作服務(wù)器和存儲服務(wù)器完成。目前，市面上常規(guī)的數(shù)據(jù)處理方式是采用MPP系統(tǒng)進行處理。這樣的處理方式大多是由主控服務(wù)器接受用戶請求，然后進行任務(wù)分配。這樣的方式，主控服務(wù)器的數(shù)據(jù)流過大，主控服務(wù)器的工作負載過大，時間一長主控服務(wù)器就會成為整個系統(tǒng)中的一個性能瓶頸。因此，要如何保證整個數(shù)據(jù)處理過程中的安全穩(wěn)定，是亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題便是針對上述現(xiàn)有技術(shù)的不足，提供一種分布式數(shù)據(jù)庫集群系統(tǒng)數(shù)據(jù)分流方法，工作服務(wù)器和主控服務(wù)器之間只有控制信息流和元數(shù)據(jù)流，而無直接的數(shù)據(jù)信息流，這樣的設(shè)計，極大的降低了網(wǎng)絡(luò)流量，減輕了主控服務(wù)器的工作負載。

本發(fā)明所采用的技術(shù)方案是：一種分布式數(shù)據(jù)庫集群系統(tǒng)數(shù)據(jù)分流方法，包括如下步驟：

步驟10、設(shè)置數(shù)個主控服務(wù)器并設(shè)置每個主控服務(wù)器所管理的數(shù)據(jù)對象；

步驟20、設(shè)置每個數(shù)據(jù)對象的標識，關(guān)聯(lián)該標識與主控服務(wù)器；

步驟30、設(shè)置數(shù)個工作節(jié)點，依次連接每個工作節(jié)點，形成工作服務(wù)器；

步驟40、設(shè)置數(shù)個存儲節(jié)點，依次連接每個存儲節(jié)點，形成存儲服務(wù)器；

步驟50、主控服務(wù)器分別連接工作服務(wù)器與存儲服務(wù)器；

步驟60、客戶端連通工作服務(wù)器，發(fā)送查詢請求并生成對應(yīng)的請求信息流，傳輸至工作服務(wù)器；

步驟70、工作服務(wù)器接收請求信息流，處理后轉(zhuǎn)化為控制信息流；

步驟80、工作服務(wù)器識別控制信息流，將該控制信息流與數(shù)據(jù)對象進行匹配，將完成匹配的控制信息流輸出至與之關(guān)聯(lián)的主控服務(wù)器；

步驟90、主控服務(wù)器接收并處理該控制信息流，獲取該控制信息流對應(yīng)的存儲于主控服務(wù)器中的元數(shù)據(jù)，生成處理后的控制信息流并將其輸出至存儲服務(wù)器；

步驟100、存儲服務(wù)器接收處理后的控制信息流，調(diào)取與元數(shù)據(jù)對應(yīng)的數(shù)據(jù)并轉(zhuǎn)化為數(shù)據(jù)信息流，輸出至工作服務(wù)器；

步驟110、工作服務(wù)器獲取數(shù)據(jù)信息流，處理后生成處理結(jié)果集，輸出至客戶端。

其中一個實施例中，步驟10中，每個所述的主控服務(wù)器均包括一個主控節(jié)點和至少一個備用節(jié)點，依次連接主控節(jié)點和每個備用節(jié)點，構(gòu)成主控服務(wù)器。

其中一個實施例中，所述的主控節(jié)點死亡后，依次啟動備用節(jié)點。

其中一個實施例中，步驟20中，數(shù)據(jù)對象的標識與主控服務(wù)器通過HASH關(guān)聯(lián)。

其中一個實施例中，步驟20中，需控制每個數(shù)據(jù)對象的標識在合理的范圍內(nèi)，具體如下：

每個主控服務(wù)器分配其管理的每個數(shù)據(jù)對象的標識且通過該主控服務(wù)器自身的唯一性算法為每個數(shù)據(jù)對象設(shè)置唯一的標識，并按每個數(shù)據(jù)對象的分配順序由小到大分配標識。