[發(fā)明專(zhuān)利]MySQL集群在線擴(kuò)容方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110374199.4
• 申請(qǐng)日: 2021-04-07
• 公開(kāi)（公告）號(hào): CN113051252A
• 公開(kāi)（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 黃李強(qiáng);熊志強(qiáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市漢云科技有限公司
• 主分類(lèi)號(hào): G06F16/21
• 分類(lèi)號(hào): G06F16/21;G06F16/27;G06F16/28
• 代理公司: 深圳市特訊知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44653
• 代理人: 黃彧

本發(fā)明涉及數(shù)據(jù)庫(kù)處理領(lǐng)域，公開(kāi)了一種MySQL集群在線擴(kuò)容方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。該方法包括：獲取所述MySQL集群在線擴(kuò)容至N個(gè)節(jié)點(diǎn)的擴(kuò)容指令，其中N為大于M的正整數(shù)；讀取所述M個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)管理的數(shù)據(jù)量，計(jì)算出所述M個(gè)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)總量；根據(jù)所述數(shù)據(jù)總量，計(jì)算出所述N個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)管理的目標(biāo)數(shù)據(jù)量；根據(jù)N個(gè)所述目標(biāo)數(shù)據(jù)量，對(duì)所述M個(gè)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)遷移處理，將所述M個(gè)節(jié)點(diǎn)擴(kuò)展至所述N個(gè)節(jié)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)處理領(lǐng)域，尤其涉及一種MySQL集群在線擴(kuò)容方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

MySQL作為性能卓越的單體數(shù)據(jù)庫(kù)被廣泛應(yīng)用與各種業(yè)務(wù)。而隨著數(shù)據(jù)量的不斷增大，單體數(shù)據(jù)庫(kù)已不再滿足業(yè)務(wù)需求，一種可行的方案是由多個(gè)MySQL數(shù)據(jù)庫(kù)組成一個(gè)MySQL集群，并通過(guò)水平分表的方式將一個(gè)表的數(shù)據(jù)拆分到多個(gè)表，以此來(lái)突破單個(gè)MySQL數(shù)據(jù)庫(kù)的限制。Share-Nothing分布式數(shù)據(jù)庫(kù)一般采用這種架構(gòu)，存儲(chǔ)層由多個(gè)MySQL單體數(shù)據(jù)庫(kù)節(jié)點(diǎn)組成節(jié)點(diǎn)集群，上層通過(guò)水平分表的方式將一個(gè)表的數(shù)據(jù)按照一定的規(guī)則(通常采用hash算法)分布到集群上。

隨著業(yè)務(wù)的增長(zhǎng)，現(xiàn)有集群規(guī)模可能不足以支撐業(yè)務(wù)的需要，單個(gè)表的數(shù)據(jù)量過(guò)大，導(dǎo)致計(jì)算性能降低。這時(shí)候就需要對(duì)集群進(jìn)行擴(kuò)展，將表數(shù)據(jù)水平的分布到更多的節(jié)點(diǎn)上，減少單個(gè)表的數(shù)據(jù)量，提升計(jì)算性能。

在進(jìn)行水平擴(kuò)容的過(guò)程中，如何盡量減少對(duì)業(yè)務(wù)的影響，并保證數(shù)據(jù)不丟失就至關(guān)重要。因此需要一種簡(jiǎn)單、高效的在線水平擴(kuò)容方案，實(shí)現(xiàn)擴(kuò)容過(guò)程對(duì)業(yè)務(wù)透明化，同時(shí)保證數(shù)據(jù)不丟失。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于解決數(shù)據(jù)集群在線擴(kuò)容時(shí)會(huì)對(duì)業(yè)務(wù)的產(chǎn)生巨大影響的技術(shù)問(wèn)題。

本發(fā)明第一方面提供了一種MySQL集群在線擴(kuò)容方法，包括步驟：

獲取所述MySQL集群在線擴(kuò)容至N個(gè)節(jié)點(diǎn)的擴(kuò)容指令，其中N為大于M的正整數(shù)；

讀取所述M個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)管理的數(shù)據(jù)量，計(jì)算出所述M個(gè)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)總量；

根據(jù)所述數(shù)據(jù)總量，計(jì)算出所述N個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)管理的目標(biāo)數(shù)據(jù)量；

根據(jù)N個(gè)所述目標(biāo)數(shù)據(jù)量，對(duì)所述M個(gè)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)遷移處理，將所述M個(gè)節(jié)點(diǎn)擴(kuò)展至所述N個(gè)節(jié)點(diǎn)。

可選的，在本發(fā)明第一方面的第一種實(shí)現(xiàn)方式中，所述讀取所述M個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)管理的數(shù)據(jù)量，計(jì)算出所述M個(gè)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)總量包括：

基于預(yù)置hash函數(shù)對(duì)所述M個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)的每行數(shù)據(jù)進(jìn)行hash值計(jì)算，得到所述M個(gè)節(jié)點(diǎn)對(duì)應(yīng)的hash值集；

統(tǒng)計(jì)所述hash值集中的hash值數(shù)量，得到hash值總數(shù)，以及將所述hash值總數(shù)確定為所述M個(gè)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)總量。

可選的，在本發(fā)明第一方面的第二種實(shí)現(xiàn)方式中，所述讀取所述M個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)管理的數(shù)據(jù)量，計(jì)算出所述M個(gè)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)總量還包括：

基于預(yù)置hash函數(shù)對(duì)所述M個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)的每行數(shù)據(jù)進(jìn)行hash值計(jì)算，得到所述M個(gè)節(jié)點(diǎn)對(duì)應(yīng)的hash值集；

根據(jù)所述hash值集中每個(gè)hash值，生成每個(gè)所述hash值對(duì)應(yīng)的數(shù)據(jù)名稱(chēng)，并將每個(gè)數(shù)據(jù)名稱(chēng)與所述數(shù)據(jù)名稱(chēng)對(duì)應(yīng)的hash值進(jìn)行合并，生成hash值名稱(chēng)集；

統(tǒng)計(jì)所述hash值名稱(chēng)集中的hash值數(shù)量，得到hash值總數(shù)，以及將所述hash值總數(shù)確定為所述M個(gè)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)總量。

可選的，在本發(fā)明第一方面的第三種實(shí)現(xiàn)方式中，所述根據(jù)所述數(shù)據(jù)總量，計(jì)算出所述N個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)管理的目標(biāo)數(shù)據(jù)量包括：

將所述N個(gè)節(jié)點(diǎn)的節(jié)點(diǎn)數(shù)量確定為取余值；