[發(fā)明專(zhuān)利]數(shù)據(jù)庫(kù)容量變更方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911135672.2
• 申請(qǐng)日: 2019-11-19
• 公開(kāi)（公告）號(hào): CN110851427A
• 公開(kāi)（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 張方俊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 泰康保險(xiǎn)集團(tuán)股份有限公司;泰康在線財(cái)產(chǎn)保險(xiǎn)股份有限公司
• 主分類(lèi)號(hào): G06F16/21
• 分類(lèi)號(hào): G06F16/21;G06F16/27
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張曉霞;臧建明

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)庫(kù)容量變更方法和裝置。該方法包括：獲取到容量變更請(qǐng)求，其中，容量變更請(qǐng)求用于表示第一分庫(kù)的剩余容量不足或者富余。根據(jù)容量變更請(qǐng)求，確定M個(gè)第二分庫(kù)的剩余容量，其中，M為正整數(shù)，第一分庫(kù)的總?cè)萘亢蚆個(gè)第二分庫(kù)的總?cè)萘繕?gòu)成已有資源。基于第一分庫(kù)中各個(gè)數(shù)據(jù)庫(kù)各自數(shù)據(jù)對(duì)應(yīng)的占用容量和M個(gè)第二分庫(kù)的剩余容量，生成目標(biāo)規(guī)則。按照目標(biāo)規(guī)則，將第一分庫(kù)中的數(shù)據(jù)遷移到M個(gè)第二分庫(kù)的剩余容量中。從而，無(wú)需停止服務(wù)，便可啟動(dòng)數(shù)據(jù)庫(kù)的容量變更。

技術(shù)領(lǐng)域

本申請(qǐng)涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)庫(kù)容量變更方法和裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，信息系統(tǒng)承載的業(yè)務(wù)越來(lái)越多，需要存儲(chǔ)的數(shù)據(jù)也越來(lái)越多。例如，淬鏡系統(tǒng)作為互聯(lián)網(wǎng)渠道的承保對(duì)接平臺(tái)，設(shè)計(jì)的承保量達(dá)到每天千萬(wàn)級(jí)。因此，淬鏡系統(tǒng)通常按照業(yè)務(wù)字段進(jìn)行分庫(kù)存儲(chǔ)，其原則如下：對(duì)業(yè)務(wù)字段進(jìn)行哈希HASH運(yùn)算，取后三位以及數(shù)據(jù)庫(kù)總數(shù)計(jì)算數(shù)據(jù)存儲(chǔ)在哪個(gè)分庫(kù)中。比如，有2組庫(kù)，那么000-499存儲(chǔ)在第1組庫(kù)中，500-999存儲(chǔ)在第2組庫(kù)中；如果有4組數(shù)據(jù)庫(kù)，那么000-249存儲(chǔ)在第1組庫(kù)中，250-499存儲(chǔ)在第2組庫(kù)中，500-749存儲(chǔ)在第3組庫(kù)中，750-999存儲(chǔ)在第4組庫(kù)中。

然而，由于單臺(tái)服務(wù)器的CPU、磁盤(pán)、內(nèi)存、IO或者帶寬等資源是有限的，在數(shù)據(jù)的儲(chǔ)存容量和使用性能上很容易達(dá)到瓶頸。例如：某電商網(wǎng)站有幾億的用戶，若將所有用戶的數(shù)據(jù)均存儲(chǔ)到一個(gè)數(shù)據(jù)庫(kù)中，則會(huì)造成該數(shù)據(jù)庫(kù)無(wú)法承受這么大的數(shù)據(jù)量。因此，需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行擴(kuò)容。

雖然，淬鏡系統(tǒng)按照業(yè)務(wù)字段進(jìn)行分庫(kù)存儲(chǔ)，得到的數(shù)據(jù)庫(kù)具備較好的橫線擴(kuò)容性能，但仍存在以下問(wèn)題：

一、數(shù)據(jù)庫(kù)進(jìn)行容量擴(kuò)大或者縮小時(shí)，需要按新的數(shù)據(jù)庫(kù)總數(shù)重新設(shè)置分庫(kù)規(guī)則，因此，需要停止服務(wù)，遷移數(shù)據(jù)，然后再啟動(dòng)服務(wù)，即須將整個(gè)服務(wù)靜止后才能進(jìn)行擴(kuò)容，如圖1所示。其中，數(shù)據(jù)遷移涉及的是海量的用戶數(shù)據(jù)，為了能夠?qū)w移后的數(shù)據(jù)立即進(jìn)行統(tǒng)一管理，現(xiàn)有的數(shù)據(jù)遷移做法通常是將數(shù)據(jù)庫(kù)的全部用戶數(shù)據(jù)一起進(jìn)行遷移。這樣便使得服務(wù)商需要向用戶暫停一定時(shí)間的服務(wù)，在這段時(shí)間內(nèi)完成數(shù)據(jù)遷移，無(wú)疑為用戶使用服務(wù)帶來(lái)了不便。

二、數(shù)據(jù)庫(kù)按業(yè)務(wù)字段分庫(kù)，在某些業(yè)務(wù)較大的情況下會(huì)出現(xiàn)數(shù)據(jù)熱點(diǎn)等突發(fā)情況，比如熱點(diǎn)商家產(chǎn)生了遠(yuǎn)大于其他商家的數(shù)據(jù)，會(huì)導(dǎo)致該熱點(diǎn)商家所在的分庫(kù)很快出現(xiàn)容量問(wèn)題，這時(shí)需要人工干預(yù)，在業(yè)務(wù)突發(fā)高峰或節(jié)假日，往往會(huì)帶來(lái)巨大的工作量。

綜上，一方面，現(xiàn)有技術(shù)無(wú)法滿足承保系統(tǒng)的服務(wù)級(jí)別協(xié)議(Service LevelAgreement，SLA)達(dá)到99.95％的要求。另一方面，數(shù)據(jù)庫(kù)擴(kuò)容時(shí)，數(shù)據(jù)庫(kù)數(shù)量過(guò)多，以及為了將數(shù)據(jù)量的容量一步擴(kuò)到位，會(huì)占用過(guò)多計(jì)算資源和硬件投入。又一方面，數(shù)據(jù)庫(kù)擴(kuò)容時(shí)所采取的數(shù)據(jù)遷移動(dòng)作無(wú)疑是費(fèi)時(shí)費(fèi)力的，增加了數(shù)據(jù)庫(kù)維護(hù)的難度，且該過(guò)程需要暫停數(shù)據(jù)庫(kù)的使用，給業(yè)務(wù)運(yùn)營(yíng)帶來(lái)影響。再一方面，突發(fā)情況下，溝通處理的成本非常高昂。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)庫(kù)容量變更方法和裝置，以解決現(xiàn)有的數(shù)據(jù)量擴(kuò)容過(guò)程中需要停止服務(wù)才能夠遷移數(shù)據(jù)而導(dǎo)致不便，以及存在資源浪費(fèi)和成本較高的問(wèn)題。

第一方面，本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)庫(kù)容量變更方法，包括：獲取到容量變更請(qǐng)求，其中，所述容量變更請(qǐng)求用于表示第一分庫(kù)的剩余容量不足或者富余；根據(jù)所述容量變更請(qǐng)求，確定M個(gè)第二分庫(kù)的剩余容量，其中，M為正整數(shù)，所述第一分庫(kù)的總?cè)萘亢退鯩個(gè)第二分庫(kù)的總?cè)萘繕?gòu)成已有資源；基于所述第一分庫(kù)中各個(gè)數(shù)據(jù)庫(kù)各自數(shù)據(jù)對(duì)應(yīng)的占用容量和所述M個(gè)第二分庫(kù)的剩余容量，生成目標(biāo)規(guī)則；按照所述目標(biāo)規(guī)則，將所述第一分庫(kù)中的數(shù)據(jù)遷移到所述M個(gè)第二分庫(kù)中。

可選地，所述方法還包括：在數(shù)據(jù)遷移開(kāi)始之前，確定切換時(shí)刻，其中，所述切換時(shí)刻為開(kāi)始按照所述目標(biāo)規(guī)則進(jìn)行數(shù)據(jù)存儲(chǔ)的時(shí)刻。

可選地，所述方法還包括：在數(shù)據(jù)遷移結(jié)束之后，刪除所述第一分庫(kù)的規(guī)則，其中，所述第一分庫(kù)的規(guī)則為在所述切換時(shí)刻之前將數(shù)據(jù)存儲(chǔ)到所述第一分庫(kù)的規(guī)則。