[發(fā)明專利]分布式數(shù)據(jù)重分布控制方法、裝置及數(shù)據(jù)管理服務(wù)器

在審

• 申請?zhí)枺?/td>: 201710379528.8
• 申請日: 2017-05-25
• 公開（公告）號: CN108932256A
• 公開（公告）日: 2018-12-04
• 發(fā)明（設(shè)計）人: 隨建;張玲東;景雯雯
• 申請（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳鼎合誠知識產(chǎn)權(quán)代理有限公司 44281
• 代理人: 江婷;李發(fā)兵

本發(fā)明提供一種分布式數(shù)據(jù)重分布控制方法、裝置及數(shù)據(jù)管理服務(wù)器，先根據(jù)預(yù)設(shè)的第一分發(fā)規(guī)則設(shè)置各存儲節(jié)點上的數(shù)據(jù)存儲區(qū)，總共設(shè)置N個數(shù)據(jù)存儲區(qū)；然后在接收到待存儲數(shù)據(jù)時，根據(jù)預(yù)設(shè)存儲控制規(guī)則將其存入相應(yīng)存儲節(jié)點上對應(yīng)的數(shù)據(jù)存儲區(qū)；在需要數(shù)據(jù)重分布觸發(fā)時，根據(jù)之前的第一分發(fā)規(guī)則和數(shù)據(jù)重分布對應(yīng)的新的第二分發(fā)規(guī)則確定上述N個數(shù)據(jù)存儲區(qū)中待遷出的數(shù)據(jù)存儲區(qū)以及各待遷出的數(shù)據(jù)儲存區(qū)所要遷入的目標(biāo)存儲節(jié)點，然后僅將各待遷出的數(shù)據(jù)存儲區(qū)分別遷入對應(yīng)的目標(biāo)存儲節(jié)點，其他不需要遷移的數(shù)據(jù)則保持不變，可以大大降低數(shù)據(jù)重分布過程中的數(shù)據(jù)處理量，提升處理效率，并可降低對剩余存儲空間的要求，提升資源利用率。

技術(shù)領(lǐng)域

本發(fā)明涉及通信領(lǐng)域，尤其涉及一種分布式數(shù)據(jù)重分布控制方法、裝置及數(shù)據(jù)管理服務(wù)器。

背景技術(shù)

在現(xiàn)今數(shù)據(jù)庫應(yīng)用中，數(shù)據(jù)庫并發(fā)度高、數(shù)據(jù)增長速度快是當(dāng)今數(shù)據(jù)庫業(yè)務(wù)兩大特點。在短時間內(nèi)，可能存在大量數(shù)據(jù)新增或修改。隨著數(shù)據(jù)數(shù)量級遞增，從字節(jié)、千字節(jié)、兆字節(jié)到現(xiàn)在的萬兆字節(jié)，結(jié)合MariaDB/MySQL(關(guān)系型數(shù)據(jù)庫管理系統(tǒng))數(shù)據(jù)庫良好橫向擴(kuò)展特性，基于MariaDB/MySQL數(shù)據(jù)庫的分布式數(shù)據(jù)庫得到廣泛的應(yīng)用。分布式數(shù)據(jù)庫重要的一個特性就是橫向擴(kuò)展，那么提高數(shù)據(jù)庫擴(kuò)展功能的靈活性，隨意增減存儲節(jié)點，將原有數(shù)據(jù)進(jìn)行數(shù)據(jù)重分布的功能就顯得較重要。目前業(yè)界針對分布式數(shù)據(jù)庫中一個數(shù)據(jù)管理服務(wù)器(也即分布式數(shù)據(jù)庫計算節(jié)點)的hash大表中的數(shù)據(jù)進(jìn)行重分布時(例如因為新增存儲節(jié)點或減少存儲節(jié)點導(dǎo)致需要進(jìn)行重分布)，通常做法是將存儲的所有數(shù)據(jù)全量導(dǎo)出，然后按照重分布之后的新規(guī)則再全部重新導(dǎo)入，這種數(shù)據(jù)重分布方式不僅處理的數(shù)據(jù)量大，效率低，且對存儲空間有較高的要求，至少需保證有導(dǎo)出空間可用。

發(fā)明內(nèi)容

本發(fā)明實施例提供的分布式數(shù)據(jù)重分布控制方法、裝置及數(shù)據(jù)管理服務(wù)器，主要解決的技術(shù)問題是現(xiàn)有分布式數(shù)據(jù)庫進(jìn)行數(shù)據(jù)重分布時將所有存儲數(shù)據(jù)導(dǎo)出再按照重分布后的新規(guī)則重新導(dǎo)入，導(dǎo)致處理的數(shù)據(jù)量大、效率低，占用資源多的問題。

為解決上述技術(shù)問題，本發(fā)明實施例提供一種分布式數(shù)據(jù)重分布控制方法，包括：

接收到待存儲數(shù)據(jù)時，根據(jù)預(yù)設(shè)存儲控制規(guī)則將其存入相應(yīng)存儲節(jié)點上對應(yīng)的數(shù)據(jù)存儲區(qū)；各存儲節(jié)點上的各數(shù)據(jù)存儲區(qū)根據(jù)預(yù)設(shè)的第一分發(fā)規(guī)則設(shè)置，根據(jù)所述第一分發(fā)規(guī)則確定的數(shù)據(jù)存儲區(qū)個數(shù)為N，所述各數(shù)據(jù)存儲區(qū)之間所存儲的數(shù)據(jù)相互獨立，所述N大于等于2；

檢測到數(shù)據(jù)重分布觸發(fā)時，根據(jù)所述第一分發(fā)規(guī)則和數(shù)據(jù)重分布對應(yīng)的第二分發(fā)規(guī)則確定所述N個數(shù)據(jù)存儲區(qū)中待遷出的數(shù)據(jù)存儲區(qū)以及各待遷出的數(shù)據(jù)儲存區(qū)所要遷入的目標(biāo)存儲節(jié)點；

將所述各待遷出的數(shù)據(jù)存儲區(qū)分別遷入對應(yīng)的目標(biāo)存儲節(jié)點。

為了解決上述問題，本發(fā)明還提供一種分布式數(shù)據(jù)重分布控制裝置，包括：

數(shù)據(jù)存儲控制模塊，用于接收到待存儲數(shù)據(jù)時，根據(jù)預(yù)設(shè)存儲控制規(guī)則將其存入相應(yīng)存儲節(jié)點上對應(yīng)的數(shù)據(jù)存儲區(qū)；各存儲節(jié)點上的各數(shù)據(jù)存儲區(qū)根據(jù)預(yù)設(shè)的第一分發(fā)規(guī)則設(shè)置，根據(jù)所述第一分發(fā)規(guī)則確定的數(shù)據(jù)存儲區(qū)個數(shù)為N，所述各數(shù)據(jù)存儲區(qū)之間所存儲的數(shù)據(jù)相互獨立，所述N大于等于2；

數(shù)據(jù)重分布控制模塊，用于檢測到數(shù)據(jù)重分布觸發(fā)時，根據(jù)所述第一分發(fā)規(guī)則和數(shù)據(jù)重分布對應(yīng)的第二分發(fā)規(guī)則確定所述N個數(shù)據(jù)存儲區(qū)中待遷出的數(shù)據(jù)存儲區(qū)以及各待遷出的數(shù)據(jù)儲存區(qū)所要遷入的目標(biāo)存儲節(jié)點，將所述各待遷出的數(shù)據(jù)存儲區(qū)分別遷入對應(yīng)的目標(biāo)存儲節(jié)點。

為了解決上述問題，本發(fā)明還提供一種數(shù)據(jù)管理服務(wù)器，包括處理器、存儲器及通信總線；

所述通信總線用于實現(xiàn)所述處理器和所述存儲器之間的連接通信；

所述處理器用于執(zhí)行存儲器中存儲的分布式數(shù)據(jù)重分布控制程序，以實現(xiàn)如上所述的分布式數(shù)據(jù)重分布控制方法中的步驟。