[發(fā)明專利]一種數(shù)據(jù)存儲(chǔ)方法及數(shù)據(jù)存儲(chǔ)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910569784.2
• 申請(qǐng)日: 2019-06-27
• 公開(kāi)（公告）號(hào): CN110275681A
• 公開(kāi)（公告）日: 2019-09-24
• 發(fā)明（設(shè)計(jì)）人: 黃銘毅;陳江楓;張潮宇
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 黃志華

本發(fā)明公開(kāi)了一種數(shù)據(jù)存儲(chǔ)方法及數(shù)據(jù)存儲(chǔ)系統(tǒng)，涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，用于提供一種對(duì)存儲(chǔ)容量進(jìn)行水平擴(kuò)展的技術(shù)方案，以利用現(xiàn)有的單機(jī)存儲(chǔ)引擎實(shí)現(xiàn)對(duì)存儲(chǔ)容量的水平擴(kuò)展。在該數(shù)據(jù)存儲(chǔ)方法中，各個(gè)執(zhí)行節(jié)點(diǎn)中部署的均是單機(jī)存儲(chǔ)引擎，例如目標(biāo)執(zhí)行節(jié)點(diǎn)在接收調(diào)度節(jié)點(diǎn)調(diào)度的存儲(chǔ)請(qǐng)求時(shí)，是基于本節(jié)點(diǎn)內(nèi)部署的單機(jī)存儲(chǔ)引擎執(zhí)行該存儲(chǔ)請(qǐng)求，即在保存了單機(jī)存儲(chǔ)引擎原有優(yōu)點(diǎn)的基礎(chǔ)上，還可以實(shí)現(xiàn)對(duì)調(diào)度到給存儲(chǔ)引擎的存儲(chǔ)請(qǐng)求的處理。此外，由于執(zhí)行集群中的每個(gè)執(zhí)行節(jié)點(diǎn)均采用單機(jī)存儲(chǔ)引擎，這樣通過(guò)組合多個(gè)單機(jī)的同構(gòu)存儲(chǔ)引擎或異構(gòu)存儲(chǔ)引擎，對(duì)外提供統(tǒng)一的服務(wù)，從而實(shí)現(xiàn)了存儲(chǔ)容量的水平擴(kuò)展。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)存儲(chǔ)方法及數(shù)據(jù)存儲(chǔ)系統(tǒng)。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)的發(fā)展，越來(lái)越多的技術(shù)應(yīng)用在金融領(lǐng)域，傳統(tǒng)金融業(yè)正在逐步向金融科技(Fintech)轉(zhuǎn)變，但由于金融行業(yè)的安全性、實(shí)時(shí)性要求，也對(duì)技術(shù)提出的更高的要求。

在實(shí)際使用過(guò)程中，金融行業(yè)(例如銀行)隨著業(yè)務(wù)的發(fā)展，業(yè)務(wù)數(shù)據(jù)量增長(zhǎng)迅速，從而出現(xiàn)海量的數(shù)據(jù)，海量的數(shù)據(jù)需要相應(yīng)的存儲(chǔ)空間。然而，在實(shí)際的使用過(guò)程中，一臺(tái)存儲(chǔ)設(shè)備的存儲(chǔ)上限是固定的，但是在大數(shù)據(jù)的時(shí)代，數(shù)據(jù)的上限往往超過(guò)一臺(tái)存儲(chǔ)設(shè)備的存儲(chǔ)上限。所以，對(duì)存儲(chǔ)容量進(jìn)行水平擴(kuò)展是需要考慮的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)存儲(chǔ)方法及數(shù)據(jù)存儲(chǔ)系統(tǒng)，用于提供一種對(duì)存儲(chǔ)容量進(jìn)行水平擴(kuò)展的技術(shù)方案，以利用現(xiàn)有的單機(jī)存儲(chǔ)引擎實(shí)現(xiàn)對(duì)存儲(chǔ)容量的水平擴(kuò)展。

第一方面，提供一種數(shù)據(jù)存儲(chǔ)方法，應(yīng)用于數(shù)據(jù)存儲(chǔ)系統(tǒng)，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)包括調(diào)度集群和執(zhí)行集群，所述調(diào)度集群包括至少一個(gè)調(diào)度節(jié)點(diǎn)，所述執(zhí)行集群包括至少一個(gè)執(zhí)行節(jié)點(diǎn)，所述至少一個(gè)執(zhí)行節(jié)點(diǎn)中的每個(gè)執(zhí)行節(jié)點(diǎn)均采用單機(jī)存儲(chǔ)引擎，所述方法包括：

所述調(diào)度集群中的目標(biāo)調(diào)度節(jié)點(diǎn)獲得客戶端發(fā)送的存儲(chǔ)請(qǐng)求，其中，所述存儲(chǔ)請(qǐng)求包括請(qǐng)求存儲(chǔ)的數(shù)據(jù)的元數(shù)據(jù)；

所述目標(biāo)調(diào)度節(jié)點(diǎn)按照預(yù)設(shè)存儲(chǔ)策略，根據(jù)所述元數(shù)據(jù)從所述執(zhí)行集群中確定調(diào)度的目標(biāo)執(zhí)行節(jié)點(diǎn)，并將所述存儲(chǔ)請(qǐng)求調(diào)度給所述目標(biāo)執(zhí)行節(jié)點(diǎn)；

所述目標(biāo)執(zhí)行節(jié)點(diǎn)使用對(duì)應(yīng)的單機(jī)存儲(chǔ)引擎執(zhí)行所述存儲(chǔ)請(qǐng)求。

在一種可能的設(shè)計(jì)中，所述目標(biāo)執(zhí)行節(jié)點(diǎn)使用對(duì)應(yīng)的單機(jī)存儲(chǔ)引擎執(zhí)行所述存儲(chǔ)請(qǐng)求，包括：

所述目標(biāo)執(zhí)行節(jié)點(diǎn)根據(jù)對(duì)應(yīng)的單機(jī)存儲(chǔ)引擎對(duì)所述存儲(chǔ)請(qǐng)求進(jìn)行適配處理，以使得與所述目標(biāo)執(zhí)行節(jié)點(diǎn)對(duì)應(yīng)的單機(jī)存儲(chǔ)引擎執(zhí)行所述存儲(chǔ)請(qǐng)求。

在一種可能的設(shè)計(jì)中，若與所述目標(biāo)執(zhí)行節(jié)點(diǎn)對(duì)應(yīng)的單機(jī)存儲(chǔ)引擎為B+樹(shù)的存儲(chǔ)引擎，則所述目標(biāo)執(zhí)行節(jié)點(diǎn)對(duì)所述存儲(chǔ)請(qǐng)求進(jìn)行適配處理，包括：

當(dāng)所述目標(biāo)執(zhí)行節(jié)點(diǎn)確定所述請(qǐng)求存儲(chǔ)的數(shù)據(jù)量大于預(yù)定閾值時(shí)，則將所述請(qǐng)求存儲(chǔ)的數(shù)據(jù)劃分為均小于所述預(yù)定閾值數(shù)據(jù)的多個(gè)數(shù)據(jù)塊。

在一種可能的設(shè)計(jì)中，若與所述目標(biāo)執(zhí)行節(jié)點(diǎn)對(duì)應(yīng)的單機(jī)存儲(chǔ)引擎為L(zhǎng)SM樹(shù)的存儲(chǔ)引擎，則所述目標(biāo)執(zhí)行節(jié)點(diǎn)對(duì)所述存儲(chǔ)請(qǐng)求進(jìn)行適配處理，包括：

所述目標(biāo)執(zhí)行節(jié)點(diǎn)確定接收的多個(gè)請(qǐng)求存儲(chǔ)數(shù)據(jù)的存儲(chǔ)請(qǐng)求的請(qǐng)求順序，并按照所述請(qǐng)求順序?qū)Χ鄠€(gè)存儲(chǔ)請(qǐng)求以隊(duì)列排列；

所述目標(biāo)執(zhí)行節(jié)點(diǎn)將所述隊(duì)列中的預(yù)設(shè)個(gè)數(shù)的存儲(chǔ)請(qǐng)求對(duì)應(yīng)請(qǐng)求的數(shù)據(jù)，采用壓縮重排的方式進(jìn)行批量處理。

在一種可能的設(shè)計(jì)中，若與所述目標(biāo)執(zhí)行節(jié)點(diǎn)對(duì)應(yīng)的單機(jī)存儲(chǔ)引擎為基于編程語(yǔ)言機(jī)制的存儲(chǔ)引擎，則所述目標(biāo)執(zhí)行節(jié)點(diǎn)對(duì)所述存儲(chǔ)請(qǐng)求進(jìn)行適配處理，包括：

所述目標(biāo)執(zhí)行節(jié)點(diǎn)對(duì)編程語(yǔ)言的字典類型進(jìn)行封裝，以使得基于編程語(yǔ)言機(jī)制的存儲(chǔ)引擎支持內(nèi)存存儲(chǔ)；

所述目標(biāo)執(zhí)行節(jié)點(diǎn)將所述存儲(chǔ)請(qǐng)求所請(qǐng)求存儲(chǔ)的數(shù)據(jù)在基于編程語(yǔ)言機(jī)制的存儲(chǔ)引擎中以內(nèi)存存儲(chǔ)的方式存儲(chǔ)。