[發(fā)明專(zhuān)利]基于云存儲(chǔ)的鍵值存儲(chǔ)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110989569.5
• 申請(qǐng)日: 2021-08-26
• 公開(kāi)（公告）號(hào): CN113704261A
• 公開(kāi)（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 崔秋;唐劉;徐鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 平凱星辰（北京）科技有限公司
• 主分類(lèi)號(hào): G06F16/22
• 分類(lèi)號(hào): G06F16/22;G06F16/2455;G06F16/27;G06F11/14
• 代理公司: 北京知果之信知識(shí)產(chǎn)權(quán)代理有限公司 11541
• 代理人: 卜榮麗

本申請(qǐng)公開(kāi)了一種基于云存儲(chǔ)系統(tǒng)構(gòu)建的鍵值存儲(chǔ)系統(tǒng)以及基于該鍵值存儲(chǔ)系統(tǒng)的數(shù)據(jù)讀取請(qǐng)求處理方法、數(shù)據(jù)寫(xiě)入請(qǐng)求處理方法和故障恢復(fù)方法。該鍵值存儲(chǔ)系統(tǒng)基于云本地存儲(chǔ)和云遠(yuǎn)端存儲(chǔ)設(shè)備組成的混合云存儲(chǔ)系統(tǒng)，包括具有快速索引能力的LSM?tree存儲(chǔ)架構(gòu)、元數(shù)據(jù)塊緩存、數(shù)據(jù)塊緩存、內(nèi)存緩存。該鍵值存儲(chǔ)系統(tǒng)能夠充分利用云存儲(chǔ)系統(tǒng)中低操作延遲、低容量、使用費(fèi)用較高的云本地存儲(chǔ)和高操作延遲但大容量、使用費(fèi)用便宜的云遠(yuǎn)端存儲(chǔ)設(shè)備，在實(shí)現(xiàn)快速高效的LSM?tree存儲(chǔ)架構(gòu)的同時(shí)控制了使用成本，并且保證數(shù)據(jù)的高效讀取和寫(xiě)入，并能夠大大加快故障恢復(fù)的過(guò)程。

技術(shù)領(lǐng)域

本申請(qǐng)屬于信息存儲(chǔ)技術(shù)領(lǐng)域，更具體地，涉及基于云存儲(chǔ)構(gòu)建的鍵值存儲(chǔ)系統(tǒng)及基于該鍵值存儲(chǔ)系統(tǒng)的數(shù)據(jù)讀寫(xiě)請(qǐng)求處理方法和故障恢復(fù)方法。

背景技術(shù)

現(xiàn)在網(wǎng)絡(luò)規(guī)模、應(yīng)用程序的爆炸性增長(zhǎng)導(dǎo)致數(shù)據(jù)量指數(shù)性增加，從而使得數(shù)據(jù)存儲(chǔ)的成本效益成為底層數(shù)據(jù)庫(kù)的主要設(shè)計(jì)目標(biāo)之一。

日志結(jié)構(gòu)合并樹(shù)(Log-Structure-Merge-Tree,簡(jiǎn)稱(chēng)LSM-tree)是專(zhuān)門(mén)針對(duì)鍵值(key-value)存儲(chǔ)系統(tǒng)所設(shè)計(jì)的數(shù)據(jù)庫(kù)存儲(chǔ)引擎，在鍵值數(shù)據(jù)庫(kù)中被應(yīng)用廣泛。日志結(jié)構(gòu)合并樹(shù)以降低了部分?jǐn)?shù)據(jù)讀取性能為代價(jià)從而獲得更好的數(shù)據(jù)寫(xiě)入性能，其在插入數(shù)據(jù)時(shí)首先會(huì)把插入的數(shù)據(jù)寫(xiě)入到內(nèi)存緩沖區(qū)中，然后在內(nèi)存緩沖區(qū)寫(xiě)滿(mǎn)后將內(nèi)存中的數(shù)據(jù)寫(xiě)入到磁盤(pán)上。日志結(jié)構(gòu)合并樹(shù)通過(guò)將隨機(jī)寫(xiě)入合并為順序?qū)懭霃亩苊饬藢?duì)磁盤(pán)的隨機(jī)寫(xiě)入操作，但在其查找數(shù)據(jù)時(shí)需要先在內(nèi)存中查找，然后在磁盤(pán)文件中進(jìn)行查找。日志結(jié)構(gòu)合并樹(shù)結(jié)構(gòu)在非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL)中應(yīng)用廣泛，以日志結(jié)構(gòu)合并樹(shù)作為存儲(chǔ)引擎開(kāi)發(fā)的鍵值數(shù)據(jù)庫(kù)，典型的有RocksDB、LevelDB、BigTable和Dynamo等。

隨著云技術(shù)的出現(xiàn)，云存儲(chǔ)對(duì)于希望提高效率、災(zāi)難恢復(fù)和敏捷性的企業(yè)來(lái)說(shuō)越來(lái)越流行，而且租用云存儲(chǔ)資源能夠有效的降低數(shù)據(jù)存儲(chǔ)成本。而一些研究已經(jīng)發(fā)現(xiàn)，使用云本地高讀寫(xiě)性能的SSD存儲(chǔ)設(shè)備和云遠(yuǎn)端存儲(chǔ)設(shè)備組成的混合結(jié)構(gòu)存儲(chǔ)是一種更有效的解決方案。這是因?yàn)樵票镜卮鎯?chǔ)提供了比云遠(yuǎn)端存儲(chǔ)設(shè)備更快的數(shù)據(jù)讀寫(xiě)訪(fǎng)問(wèn)性能。因此，越來(lái)越多的存儲(chǔ)系統(tǒng)通過(guò)將云本地存儲(chǔ)和云遠(yuǎn)端存儲(chǔ)設(shè)備(或服務(wù))整合，同時(shí)獲得兩者的好處。但是如何在這種混合存儲(chǔ)結(jié)構(gòu)上構(gòu)建快速高效的LSM-tree存儲(chǔ)架構(gòu)具有挑戰(zhàn)性。云本地存儲(chǔ)和云遠(yuǎn)端存儲(chǔ)設(shè)備之間的性能和成本并不平衡。例如，公司的AWS EC2的云本地高性能SSD存儲(chǔ)和云遠(yuǎn)端存儲(chǔ)設(shè)備gp2之間表現(xiàn)出了不同的數(shù)據(jù)讀寫(xiě)性能和使用成本，云遠(yuǎn)端存儲(chǔ)設(shè)備gp2可以減少大約80％的使用成本，但是對(duì)數(shù)據(jù)讀寫(xiě)的吞吐量較低，存在帶寬和IOPS(I/O per second)限制。使用相同大小的云遠(yuǎn)端存儲(chǔ)設(shè)備gp2構(gòu)建LSM-tree存儲(chǔ)架構(gòu)時(shí)會(huì)出現(xiàn)相當(dāng)大的數(shù)據(jù)讀寫(xiě)操作性能下降，其中讀取操作性能下降了98％，寫(xiě)操作性能下降了40％。因此提供一個(gè)既能使用云本地存儲(chǔ)又能使用云遠(yuǎn)端存儲(chǔ)設(shè)備的LSM-tree存儲(chǔ)架構(gòu)非常重要，并且該LSM-tree存儲(chǔ)架構(gòu)要優(yōu)先考慮提高數(shù)據(jù)讀寫(xiě)性能。

申請(qǐng)內(nèi)容

針對(duì)現(xiàn)有技術(shù)的缺陷和改進(jìn)需求，本申請(qǐng)?zhí)峁┝艘环N基于云存儲(chǔ)構(gòu)建的鍵值存儲(chǔ)系統(tǒng)以及基于該鍵值存儲(chǔ)系統(tǒng)的數(shù)據(jù)讀取方法、數(shù)據(jù)寫(xiě)入方法及故障恢復(fù)方法，其目的在于在云存儲(chǔ)上構(gòu)建一個(gè)快速高效的LSM-tree存儲(chǔ)架構(gòu)，同時(shí)發(fā)揮出云本地存儲(chǔ)高讀寫(xiě)性能、低操作延遲的特點(diǎn)和云遠(yuǎn)端存儲(chǔ)設(shè)備容量大、價(jià)格低廉的特點(diǎn)，充分發(fā)揮云存儲(chǔ)安全、敏捷的特性，并且能夠?qū)崿F(xiàn)故障快速恢復(fù)。

為實(shí)現(xiàn)上述目的，本申請(qǐng)的第一方面提供一種鍵值存儲(chǔ)系統(tǒng)，該鍵值存儲(chǔ)系統(tǒng)包括：具有計(jì)算機(jī)可讀指令的存儲(chǔ)器；用于執(zhí)行該計(jì)算機(jī)可讀指令的一個(gè)或多個(gè)處理器，該計(jì)算機(jī)可讀指令控制該一個(gè)或多個(gè)處理器以執(zhí)行操作；LSM-tree存儲(chǔ)架構(gòu)；內(nèi)存緩存；元數(shù)據(jù)塊緩存；以及數(shù)據(jù)塊緩存。其中，該鍵值存儲(chǔ)系統(tǒng)基于云本地存儲(chǔ)設(shè)備或服務(wù)和云遠(yuǎn)端存儲(chǔ)設(shè)備或服務(wù)組成的混合云存儲(chǔ)系統(tǒng)。

進(jìn)一步地，該LSM-tree存儲(chǔ)架構(gòu)包括部署在該云本地存儲(chǔ)上的L0到Li層，以及部署在該云遠(yuǎn)端存儲(chǔ)上的L(i+1)層到(Li+1)以下的其余層。通常，i＝1或2。