[發(fā)明專利]一種分布式存儲系統(tǒng)及其存儲方法

有效

• 申請?zhí)枺?/td>: 201910095775.4
• 申請日: 2019-01-31
• 公開（公告）號: CN111506253B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 段培樂
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京鼎佳達(dá)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

1.一種分布式存儲系統(tǒng)，其特征在于，包括：

元數(shù)據(jù)管理單元，設(shè)置于內(nèi)存，用于根據(jù)數(shù)據(jù)熱度閾值獲取內(nèi)存中的冷元數(shù)據(jù)，發(fā)送至元數(shù)據(jù)寫入單元；

所述元數(shù)據(jù)寫入單元，設(shè)置于內(nèi)存，用于將所述冷元數(shù)據(jù)寫入磁盤存儲單元；

所述磁盤存儲單元，用于響應(yīng)元數(shù)據(jù)訪問請求，并根據(jù)預(yù)設(shè)時(shí)間間隔對所存儲的元數(shù)據(jù)創(chuàng)建快照；

所述磁盤存儲單元在根據(jù)預(yù)設(shè)時(shí)間間隔對所存儲的元數(shù)據(jù)創(chuàng)建快照時(shí)，還用于：

基于內(nèi)存的執(zhí)行檢查點(diǎn)機(jī)制接收所述元數(shù)據(jù)寫入單元寫入的冷元數(shù)據(jù)，生成元數(shù)據(jù)落盤信息，所述檢查點(diǎn)機(jī)制用于在磁盤中存儲內(nèi)存映像數(shù)據(jù)；

根據(jù)所述元數(shù)據(jù)落盤信息創(chuàng)建快照，得到對應(yīng)所述內(nèi)存映像數(shù)據(jù)的快照數(shù)據(jù)，所述快照數(shù)據(jù)記錄了磁盤存儲單元中存儲的元數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述元數(shù)據(jù)寫入單元還用于，向所述磁盤存儲單元異步寫入所述冷元數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括：

元數(shù)據(jù)訪問單元，用于判斷所述磁盤存儲單元中是否存在元數(shù)據(jù)訪問請求中的待訪問元數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述元數(shù)據(jù)訪問單元還用于：

在所述元數(shù)據(jù)訪問請求對應(yīng)的待訪問元數(shù)據(jù)未存儲在內(nèi)存中時(shí)，判斷所述磁盤存儲單元中是否存在所述待訪問元數(shù)據(jù)；

若存在，則通過預(yù)置接口訪問所述磁盤存儲單元，查找所述待訪問元數(shù)據(jù)；

若不存在，則反饋不存在所述待訪問元數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述元數(shù)據(jù)訪問請求至少包括對待訪問元數(shù)據(jù)的增加、刪除、修改以及查找操作中的任一種或多種操作。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述磁盤存儲單元還用于：

在基于內(nèi)存的執(zhí)行檢查點(diǎn)機(jī)制接收所述元數(shù)據(jù)寫入單元寫入的冷元數(shù)據(jù)之前，根據(jù)所處理的元數(shù)據(jù)修改操作，在磁盤中寫入對應(yīng)的修改操作日志；

根據(jù)所述修改操作日志，將當(dāng)前處理中的元數(shù)據(jù)訪問請求處理完成之后，暫停未處理的元數(shù)據(jù)訪問請求。

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括：

獲取單元，用于根據(jù)接收到的元數(shù)據(jù)恢復(fù)請求，從磁盤中獲取對應(yīng)的修改操作日志、內(nèi)存映像數(shù)據(jù)以及快照數(shù)據(jù)；

恢復(fù)單元，用于利用所述內(nèi)存映像數(shù)據(jù)恢復(fù)內(nèi)存中的元數(shù)據(jù)，以及利用所述快照數(shù)據(jù)恢復(fù)磁盤存儲單元中的元數(shù)據(jù)；

所述元數(shù)據(jù)訪問單元還用于，執(zhí)行所述修改操作日志之后記錄的元數(shù)據(jù)修改操作。

8.一種分布式存儲系統(tǒng)的存儲方法，其特征在于，包括：

根據(jù)元數(shù)據(jù)寫入請求，判斷內(nèi)存的可用存儲空間是否小于閾值；

若小于所述閾值，則利用元數(shù)據(jù)管理單元將內(nèi)存中的冷元數(shù)據(jù)移動至元數(shù)據(jù)寫入單元；

根據(jù)預(yù)置時(shí)間間隔，將元數(shù)據(jù)寫入單元中的冷元數(shù)據(jù)通過預(yù)置接口寫入磁盤存儲單元；

由所述磁盤存儲單元創(chuàng)建快照具體包括：

在對內(nèi)存執(zhí)行檢查點(diǎn)機(jī)制，生成內(nèi)存映像數(shù)據(jù)時(shí)，將所述元數(shù)據(jù)寫入單元中的冷元數(shù)據(jù)寫入所述磁盤存儲單元，生成元數(shù)據(jù)落盤信息；

根據(jù)所述元數(shù)據(jù)落盤信息對所述磁盤存儲單元中的元數(shù)據(jù)創(chuàng)建快照，得到對應(yīng)所述內(nèi)存映像數(shù)據(jù)的快照數(shù)據(jù)。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，還包括：

由所述磁盤存儲單元創(chuàng)建快照，所述快照用于在系統(tǒng)故障恢復(fù)過程中恢復(fù)所述磁盤存儲單元中存儲的元數(shù)據(jù)。

10.根據(jù)權(quán)利要求8所述的方法，其特征在于，在將所述元數(shù)據(jù)寫入單元中的冷元數(shù)據(jù)寫入所述磁盤存儲單元之前，還包括：

根據(jù)所述磁盤存儲單元處理的元數(shù)據(jù)修改操作，在磁盤中寫入對應(yīng)的修改操作日志；

根據(jù)所述修改操作日志，將當(dāng)前處理中的元數(shù)據(jù)訪問請求處理完成，暫停未處理的元數(shù)據(jù)訪問請求。