[發(fā)明專(zhuān)利]基于應(yīng)用優(yōu)化的數(shù)據(jù)存儲(chǔ)的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610141381.4
• 申請(qǐng)日: 2016-03-11
• 公開(kāi)（公告）號(hào): CN107179878B
• 公開(kāi)（公告）日: 2021-03-19
• 發(fā)明（設(shè)計(jì)）人: 趙軍平;王鯤;曹逾;董哲;李三平
• 申請(qǐng)（專(zhuān)利權(quán)）人: 伊姆西IP控股有限責(zé)任公司
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 王茂華

本公開(kāi)的實(shí)施例提出基于應(yīng)用優(yōu)化的數(shù)據(jù)存儲(chǔ)的方法和裝置。該方法包括從應(yīng)用獲取對(duì)應(yīng)用數(shù)據(jù)的描述信息；基于所述描述信息，執(zhí)行存儲(chǔ)優(yōu)化；以及在將所述應(yīng)用數(shù)據(jù)發(fā)送到后端存儲(chǔ)設(shè)備之前，基于所述描述信息，提前執(zhí)行要由所述后端存儲(chǔ)設(shè)備實(shí)施的至少部分存儲(chǔ)功能。根據(jù)本公開(kāi)的實(shí)施例的方法或裝置，能夠提供應(yīng)用和非易失性存儲(chǔ)設(shè)備的高效的結(jié)合方式，使應(yīng)用和存儲(chǔ)能夠協(xié)調(diào)，以改進(jìn)效率和可擴(kuò)展性。

技術(shù)領(lǐng)域

本公開(kāi)的實(shí)施例涉及存儲(chǔ)系統(tǒng)，并且更具體地涉及對(duì)應(yīng)用數(shù)據(jù)的存儲(chǔ)進(jìn)行優(yōu)化的方法和裝置。

背景技術(shù)

目前第三代存儲(chǔ)平臺(tái)(P3)應(yīng)用正引起人們的濃厚興趣，其中包括例如云計(jì)算、大數(shù)據(jù)、移動(dòng)和社交等。這些第三代平臺(tái)應(yīng)用中通常需要非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL)作為骨干應(yīng)用。預(yù)計(jì)一直到2020年，NoSQL將以26％的符合年增長(zhǎng)率(CAGR)增長(zhǎng)。鍵值數(shù)據(jù)庫(kù)(K-V)是NoSQL的一種，通常用于高速緩存，元數(shù)據(jù)等，其具有速度快，非內(nèi)存集約式的特點(diǎn)。

非關(guān)系型數(shù)據(jù)庫(kù)(例如K-V)主要由互聯(lián)網(wǎng)推動(dòng)興起，優(yōu)勢(shì)在于在靈活、無(wú)預(yù)定義模式、能夠水平擴(kuò)展、具有最終一致性和多副本等特性，并且速度快。然而具有內(nèi)存為中心的架構(gòu)的NoSQL應(yīng)用通常運(yùn)行在內(nèi)存中。這導(dǎo)致如下缺陷：

首先，其擴(kuò)展性目前受限于內(nèi)存的容量，并且成本高；

另外，由于內(nèi)存在停機(jī)和重啟預(yù)熱時(shí)會(huì)有時(shí)延或者數(shù)據(jù)丟失，這導(dǎo)致該應(yīng)用的性能波動(dòng)。

因此，目前存在將該應(yīng)用運(yùn)行于非易失性存儲(chǔ)器，例如閃存中的嘗試。例如，有些廠(chǎng)商正尋求通過(guò)對(duì)應(yīng)用做一些改變來(lái)使其適用于在閃存中運(yùn)行。但是，該技術(shù)目前還不成熟，并且性能未知。另外，對(duì)應(yīng)用做出過(guò)大的改變是不期望的。

目前市面上有較多的閃存產(chǎn)品，它們通常以硬件盒子的形式出現(xiàn)，并具有各種接口和功能。但是，目前還不存在非易失性存儲(chǔ)器(例如閃存)和應(yīng)用的高效的集合方式。

在本公開(kāi)的實(shí)施例中，提供了方法和裝置，以解決以上問(wèn)題中的至少一些問(wèn)題。

發(fā)明內(nèi)容

本公開(kāi)的實(shí)施例提出了用于存儲(chǔ)系統(tǒng)中的數(shù)據(jù)存儲(chǔ)的方法和裝置。下面給出了對(duì)各實(shí)施例的簡(jiǎn)要概述，以提供對(duì)各種實(shí)施例的一些方面的基本理解。該概述不旨在標(biāo)識(shí)關(guān)鍵元素的要點(diǎn)或描述各種實(shí)施例的范圍。其唯一目的在于以簡(jiǎn)化形式呈現(xiàn)一些概念，作為對(duì)后述更具體描述的前序。

本公開(kāi)的第一方面提供了一種用于數(shù)據(jù)存儲(chǔ)的方法，該方法包括：從應(yīng)用獲取對(duì)應(yīng)用數(shù)據(jù)的描述信息；基于所述描述信息，執(zhí)行存儲(chǔ)優(yōu)化；以及在將所述應(yīng)用數(shù)據(jù)發(fā)送到后端存儲(chǔ)設(shè)備之前，基于所述描述信息，提前執(zhí)行要由所述后端存儲(chǔ)設(shè)備實(shí)施的至少部分存儲(chǔ)功能。

在一個(gè)實(shí)施例中，描述信息可以包括以下中的至少一項(xiàng)：所述應(yīng)用數(shù)據(jù)是否熱數(shù)據(jù)或者冷數(shù)據(jù)；所述應(yīng)用數(shù)據(jù)是否元數(shù)據(jù)、所述應(yīng)用數(shù)據(jù)是否可壓縮或者可刪除重復(fù)、所述應(yīng)用數(shù)據(jù)是否數(shù)據(jù)快照、所述應(yīng)用數(shù)據(jù)是否到期、以及所述應(yīng)用數(shù)據(jù)是否垃圾數(shù)據(jù)。

在另一實(shí)施例中，從應(yīng)用獲取對(duì)應(yīng)用數(shù)據(jù)的描述信息可以包括：通過(guò)查詢(xún)所述應(yīng)用的應(yīng)用程序接口API，和/或通過(guò)接收來(lái)自所述應(yīng)用的輸入輸出請(qǐng)求，來(lái)獲取所述描述信息。

在又一實(shí)施例中，執(zhí)行存儲(chǔ)優(yōu)化可以包括執(zhí)行以下中的至少一項(xiàng)：寫(xiě)合并、預(yù)讀、非均衡存儲(chǔ)器訪(fǎng)問(wèn)NUMA、通過(guò)就地執(zhí)行XIP或者零拷貝來(lái)減少內(nèi)存拷貝、優(yōu)先級(jí)排隊(duì)、以及讀或者寫(xiě)高速緩存。

在一個(gè)實(shí)施例中，要由所述后端存儲(chǔ)設(shè)備實(shí)施的至少部分存儲(chǔ)功能可以包括以下中的至少一項(xiàng)：使用安全散列算法(SHA)獲取所述應(yīng)用數(shù)據(jù)的摘要；執(zhí)行重復(fù)刪除；對(duì)所述應(yīng)用數(shù)據(jù)進(jìn)行壓縮；對(duì)所述應(yīng)用數(shù)據(jù)進(jìn)行分片，確定要將所述應(yīng)用數(shù)據(jù)發(fā)送到的目標(biāo)存儲(chǔ)設(shè)備；以及通過(guò)遠(yuǎn)程直接數(shù)據(jù)存取(RDMA)將所述應(yīng)用數(shù)據(jù)發(fā)送到所述目標(biāo)存儲(chǔ)設(shè)備。