[發(fā)明專利]一種分布式數(shù)據(jù)庫集群系統(tǒng)對等處理系統(tǒng)及處理方法

在審

• 申請?zhí)枺?/td>: 202110248728.6
• 申請日: 2021-03-08
• 公開（公告）號: CN112597173A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計）人: 況忠強;王漢瑛;吳生勇;謝旭東;蘇德財;李尤兵;曹茜;馮治龍;明玉琢;李文彬;許雄基
• 申請（專利權(quán)）人: 成都虛谷偉業(yè)科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/27
• 代理公司: 成都聚蓉眾享知識產(chǎn)權(quán)代理有限公司 51291
• 代理人: 張輝

1.一種分布式數(shù)據(jù)庫集群系統(tǒng)對等處理系統(tǒng)，其特征在于，包括數(shù)個客戶端、數(shù)個工作節(jié)點和數(shù)個存儲節(jié)點，數(shù)個所述工作節(jié)點相互關(guān)聯(lián)，形成工作集群，數(shù)個所述存儲節(jié)點相互關(guān)聯(lián)，形成存儲集群；

每個所述的客戶端用于生成請求信息流發(fā)送至工作集群，接收工作集群返回的處理結(jié)果集；

每個所述工作節(jié)點用于與工作集群中的其它工作節(jié)點關(guān)聯(lián)，讀取請求信息流并將請求信息流轉(zhuǎn)化為數(shù)據(jù)信息流，對工作集群中的工作節(jié)點進行任務(wù)分割，對分割后的數(shù)據(jù)信息流進行中間處理，同時從存儲集群獲取處理結(jié)果集并輸出至客戶端；

每個所述存儲節(jié)點用于對存儲在自身節(jié)點的數(shù)據(jù)進行過濾，接收工作集群的數(shù)據(jù)信息流，生成處理結(jié)果集并輸出至工作集群。

2.一種分布式數(shù)據(jù)庫集群系統(tǒng)對等處理方法，其特征在于，包括以下步驟：

步驟10、客戶端連通工作集群中任意一工作節(jié)點，發(fā)送查詢請求至該工作節(jié)點；

步驟20、接收查詢請求的工作節(jié)點根據(jù)查詢請求的內(nèi)容進行任務(wù)分割并生成查詢?nèi)蝿?wù)，指定查詢?nèi)蝿?wù)待發(fā)送的目標存儲節(jié)點，并將該查詢?nèi)蝿?wù)輸出至存儲集群中對應(yīng)的存儲節(jié)點；

步驟30、存儲集群中對應(yīng)的存儲節(jié)點根據(jù)接收到的查詢請求提取相關(guān)數(shù)據(jù)，生成處理結(jié)果集，輸出至工作集群，對數(shù)據(jù)進行進一步處理后將數(shù)據(jù)發(fā)送至進行任務(wù)分割的工作節(jié)點；

步驟40、進行任務(wù)分割的工作節(jié)點接收處理結(jié)果集，將進行中間處理后的結(jié)果集輸出至客戶端。

3.根據(jù)權(quán)利要求2所述的一種分布式數(shù)據(jù)庫集群系統(tǒng)對等處理方法，其特征在于，還包括存儲數(shù)據(jù)過濾步驟，具體如下：

客戶端發(fā)送過濾條件至工作集群中任意一工作節(jié)點，該工作節(jié)點接收過濾條件并進行任務(wù)分割，將過濾條件傳輸至存儲集群，存儲集群中每個存儲節(jié)點根據(jù)過濾條件對存儲的數(shù)據(jù)進行過濾，調(diào)取過濾后的數(shù)據(jù)并生成處理結(jié)果集，輸出至工作集群，對數(shù)據(jù)進行進一步處理后輸出至接收過濾條件的工作節(jié)點。

4.根據(jù)權(quán)利要求2或3所述的一種分布式數(shù)據(jù)庫集群系統(tǒng)對等處理方法，其特征在于，步驟20中，所述的任務(wù)分割，具體如下：

提取生成的數(shù)據(jù)信息流中包含的存儲節(jié)點的編號并根據(jù)該編號對數(shù)據(jù)信息流進行分組，將分組后的數(shù)據(jù)流傳輸至對應(yīng)編號的存儲節(jié)點。

5.根據(jù)權(quán)利要求4所述的一種分布式數(shù)據(jù)庫集群系統(tǒng)對等處理方法，其特征在于，步驟30和存儲數(shù)據(jù)過濾步驟中，所述的對數(shù)據(jù)進行進一步處理包括數(shù)值運算或統(tǒng)計計算。

6.根據(jù)權(quán)利要求2所述的一種分布式數(shù)據(jù)庫集群系統(tǒng)對等處理方法，其特征在于，步驟40中，所述的中間處理，具體如下：

對每個工作節(jié)點進行編號，設(shè)置每個工作節(jié)點可以使用的計算單元總數(shù)并按編號順序設(shè)置每個工作節(jié)點的計算順序；

按照工作節(jié)點的編號順序進行計算單元的排列；

根據(jù)客戶端指定的計算資源總數(shù)或默認的計算資源使用數(shù)提取每個工作節(jié)點的計算單元并對工作集群接收處理結(jié)果集進行計算。

7.根據(jù)權(quán)利要求6所述的一種分布式數(shù)據(jù)庫集群系統(tǒng)對等處理方法，其特征在于，步驟40中，包括協(xié)助處理步驟，具體如下：

接收請求信息流的工作節(jié)點向工作集群中其余的工作節(jié)點發(fā)送協(xié)助處理請求，工作集群中被發(fā)送協(xié)助處理請求的工作節(jié)點接收協(xié)助處理請求；

被發(fā)送協(xié)助處理請求的工作節(jié)點接收存儲集群生成的處理結(jié)果集并進行中間處理。

8.根據(jù)權(quán)利要求7所述的一種分布式數(shù)據(jù)庫集群系統(tǒng)對等處理方法，其特征在于，所述的接收請求信息流的工作節(jié)點通過遠程調(diào)用方式向工作集群中其余的工作節(jié)點發(fā)送協(xié)助處理請求。