[發(fā)明專利]分布式存儲(chǔ)系統(tǒng)及其數(shù)據(jù)讀寫方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201510657207.0
• 申請(qǐng)日: 2015-10-12
• 公開（公告）號(hào): CN105242881A
• 公開（公告）日: 2016-01-13
• 發(fā)明（設(shè)計(jì)）人: 蔡云霞
• 申請(qǐng)（專利權(quán)）人: 創(chuàng)新科軟件技術(shù)（深圳）有限公司;創(chuàng)新科存儲(chǔ)技術(shù)有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 王民盛;王麗琴

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及分布式存儲(chǔ)系統(tǒng)及其數(shù)據(jù)讀寫方法。

背景技術(shù)

隨著移動(dòng)設(shè)備、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)等多種應(yīng)用的蓬勃發(fā)展，人類社會(huì)產(chǎn)生的數(shù)據(jù)呈爆炸式增長(zhǎng)。傳統(tǒng)的磁盤陣列在容量、性能和帶寬方面越來(lái)越難以滿足以海量數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)密集型應(yīng)用的存儲(chǔ)要求。因此，采取scale-out架構(gòu)、容量和性能可隨節(jié)點(diǎn)數(shù)線性增加的分布式集群存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生，能提供更高的每秒讀寫(IO)操作的次數(shù)(IOPS，Input/OutputOperationsPerSecond)性能的固態(tài)硬盤也逐漸取代傳統(tǒng)磁盤成為IO密集型應(yīng)用的首選。在此背景下，固態(tài)硬盤昂貴的價(jià)格、先擦除后寫入的應(yīng)用特點(diǎn)，都要求在存儲(chǔ)系統(tǒng)中盡可能壓縮數(shù)據(jù)的實(shí)際存儲(chǔ)空間、降低寫入次數(shù)，以便進(jìn)一步提高使用分布式閃存系統(tǒng)的性價(jià)比。

重復(fù)數(shù)據(jù)刪除是數(shù)據(jù)縮減技術(shù)中的一種，通常用于基于磁盤的備份系統(tǒng)，旨在減少存儲(chǔ)系統(tǒng)中實(shí)際使用的存儲(chǔ)容量。目前重復(fù)數(shù)據(jù)刪除的工作方式通常是在某個(gè)時(shí)間周期內(nèi)，在后臺(tái)運(yùn)行重復(fù)數(shù)據(jù)刪除程序，查找不同文件中不同位置的重復(fù)數(shù)據(jù)塊，把重復(fù)的數(shù)據(jù)塊用指示符取代，以減少對(duì)存儲(chǔ)容量的占用。高度冗余的數(shù)據(jù)集(例如備份數(shù)據(jù))從重復(fù)數(shù)據(jù)刪除技術(shù)的獲益極大；另外重復(fù)數(shù)據(jù)刪除技術(shù)可以允許用戶的不同站點(diǎn)之間進(jìn)行高效、經(jīng)濟(jì)的備份數(shù)據(jù)復(fù)制。但是，對(duì)于分布式集群存儲(chǔ)系統(tǒng)而言，現(xiàn)有的單設(shè)備內(nèi)的重復(fù)數(shù)據(jù)刪除技術(shù)無(wú)法達(dá)到全局重復(fù)數(shù)據(jù)刪除的目標(biāo)，數(shù)據(jù)縮減比達(dá)不到最佳效果；另外，后臺(tái)處理的重復(fù)數(shù)據(jù)刪除方式無(wú)法減少數(shù)據(jù)寫入的操作，對(duì)于使用固態(tài)硬盤的存儲(chǔ)系統(tǒng)而言，就達(dá)不到減少擦寫次數(shù)、延長(zhǎng)固態(tài)硬盤壽命的目標(biāo)。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N應(yīng)用于分布式存儲(chǔ)系統(tǒng)及其數(shù)據(jù)讀寫方法，無(wú)需進(jìn)行實(shí)際的重復(fù)數(shù)據(jù)刪除操作，即可達(dá)到全局重復(fù)數(shù)據(jù)刪除的目標(biāo)，并且可以減少數(shù)據(jù)寫入的操作。

本申請(qǐng)實(shí)施例提供了一種分布式存儲(chǔ)系統(tǒng)，包括：所述分布式存儲(chǔ)系統(tǒng)包括一個(gè)代理模塊、一個(gè)元數(shù)據(jù)服務(wù)模塊以及多個(gè)存儲(chǔ)服務(wù)模塊，每個(gè)存儲(chǔ)服務(wù)模塊管理至少一個(gè)存儲(chǔ)節(jié)點(diǎn)；

所述代理模塊用于接收來(lái)自應(yīng)用系統(tǒng)的寫請(qǐng)求，按分塊參數(shù)計(jì)算所要寫入的數(shù)據(jù)的哈希值，得到塊標(biāo)識(shí)，向元數(shù)據(jù)服務(wù)模塊發(fā)送攜帶所述塊標(biāo)識(shí)的寫請(qǐng)求；接收元數(shù)據(jù)服務(wù)模塊返回的節(jié)點(diǎn)信息，根據(jù)所述節(jié)點(diǎn)信息，把寫入請(qǐng)求路由到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)；以及將來(lái)自元數(shù)據(jù)服務(wù)模塊或存儲(chǔ)服務(wù)模塊的寫入成功消息返回應(yīng)用系統(tǒng)；

所述元數(shù)據(jù)服務(wù)模塊用于維護(hù)全局的一級(jí)映射表，一級(jí)映射表包含了全局邏輯地址和存儲(chǔ)節(jié)點(diǎn)、塊標(biāo)識(shí)的映射關(guān)系；接收來(lái)自代理模塊的攜帶塊標(biāo)識(shí)的寫請(qǐng)求，查找一級(jí)映射表，如果已存在相應(yīng)塊標(biāo)識(shí)的映射記錄，刷新一級(jí)映射表，增加一條寫入起始地址和相應(yīng)塊標(biāo)識(shí)的映射記錄，通過(guò)代理模塊向應(yīng)用系統(tǒng)返回寫入成功消息；若不存在，選擇一個(gè)存儲(chǔ)節(jié)點(diǎn)，把所述存儲(chǔ)節(jié)點(diǎn)的節(jié)點(diǎn)信息返回給代理模塊；接收來(lái)自存儲(chǔ)服務(wù)模塊的寫入信息，刷新一級(jí)映射表，新增寫入起始地址、相應(yīng)塊標(biāo)識(shí)、相應(yīng)存儲(chǔ)節(jié)點(diǎn)的映射記錄，向所述存儲(chǔ)服務(wù)模塊返回刷新成功消息；

存儲(chǔ)服務(wù)模塊用于維護(hù)二級(jí)映射表，二級(jí)映射表包含了塊標(biāo)識(shí)和實(shí)際存儲(chǔ)物理地址的映射關(guān)系；接收路由到本存儲(chǔ)服務(wù)模塊所管理的存儲(chǔ)節(jié)點(diǎn)的寫請(qǐng)求，把數(shù)據(jù)寫入所述存儲(chǔ)節(jié)點(diǎn)的磁盤，刷新二級(jí)映射表，新增相應(yīng)塊標(biāo)識(shí)和實(shí)際寫入物理地址的記錄，并向元數(shù)據(jù)服務(wù)模塊發(fā)送寫入信息。

可選地，所述代理模塊還用于接收來(lái)自應(yīng)用系統(tǒng)的讀請(qǐng)求，將該讀請(qǐng)求透?jìng)鹘o元數(shù)據(jù)服務(wù)模塊，以及將來(lái)自存儲(chǔ)服務(wù)模塊的讀數(shù)據(jù)返回應(yīng)用系統(tǒng)；

所述元數(shù)據(jù)服務(wù)模塊還用于接收來(lái)自代理模塊的攜帶讀取起始地址的讀請(qǐng)求，查找一級(jí)映射表中所述讀取起始地址對(duì)應(yīng)的映射記錄，得到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)以及塊標(biāo)識(shí)，把讀請(qǐng)求路由到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)；

所述存儲(chǔ)服務(wù)模塊還用于接收路由到本存儲(chǔ)服務(wù)模塊所管理的存儲(chǔ)節(jié)點(diǎn)的讀請(qǐng)求，根據(jù)塊標(biāo)識(shí)查找二級(jí)映射表，得到實(shí)際物理地址，從實(shí)際物理地址中獲取讀數(shù)據(jù)，將讀數(shù)據(jù)返回給代理模塊。

可選地，所述元數(shù)據(jù)服務(wù)模塊進(jìn)一步包括：

負(fù)載分擔(dān)算法單元，用于根據(jù)負(fù)載分擔(dān)算法選擇一個(gè)負(fù)載較輕的存儲(chǔ)節(jié)點(diǎn)。

可選地，元數(shù)據(jù)服務(wù)模塊單獨(dú)部署在獨(dú)立節(jié)點(diǎn)中，或者分布式部署在所有的節(jié)點(diǎn)集群上。

本申請(qǐng)實(shí)施例還提供了一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)寫入方法，該分布式存儲(chǔ)系統(tǒng)如前所述，該數(shù)據(jù)寫入方法包括：

代理模塊接收來(lái)自應(yīng)用系統(tǒng)的寫請(qǐng)求，按分塊參數(shù)計(jì)算所要寫入的數(shù)據(jù)的哈希值，得到塊標(biāo)識(shí)，向元數(shù)據(jù)服務(wù)模塊發(fā)送攜帶所述塊標(biāo)識(shí)的寫請(qǐng)求；