[發(fā)明專利]用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)方法、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011101715.8
• 申請(qǐng)日: 2020-10-15
• 公開(kāi)（公告）號(hào): CN112162707A
• 公開(kāi)（公告）日: 2021-01-01
• 發(fā)明（設(shè)計(jì)）人: 張致江;夏靜霆;張明;王芝斌;劉年超;舒銀東;殷奎;黃開(kāi)元
• 申請(qǐng)（專利權(quán)）人: 科大訊飛股份有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李文清

本發(fā)明實(shí)施例提供一種用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)方法、電子設(shè)備及存儲(chǔ)介質(zhì)，分布式存儲(chǔ)系統(tǒng)包括元數(shù)據(jù)中心和多個(gè)存儲(chǔ)集群，該方法包括：獲取待存儲(chǔ)對(duì)象的存儲(chǔ)請(qǐng)求，根據(jù)第一URL從元數(shù)據(jù)中心查找待存儲(chǔ)對(duì)象存放的RealBucket，利用RealBucket所屬的第一存儲(chǔ)集群的集群類型重新組織所述第一URL以形成第二URL，并基于第二URL將待存儲(chǔ)對(duì)象存放到第一存儲(chǔ)集群。根據(jù)第一URL從元數(shù)據(jù)中心查找待存儲(chǔ)對(duì)象存放的RealBucket，不僅可以快速確定出待存儲(chǔ)對(duì)象存放的RealBucket，而且由于存儲(chǔ)過(guò)程中并不需要引入待存儲(chǔ)對(duì)象的數(shù)據(jù)索引，可以大大節(jié)約元數(shù)據(jù)的存儲(chǔ)空間，降低存儲(chǔ)規(guī)模以及復(fù)雜度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)方法、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

由于大數(shù)據(jù)、人工智能(Artificial Intelligence，AI)技術(shù)的高速發(fā)展，需要配置的存儲(chǔ)系統(tǒng)具有更大的容量、更快的響應(yīng)速度以及更大的帶寬。

現(xiàn)有大規(guī)模的對(duì)象存儲(chǔ)系統(tǒng)通常可以包括云對(duì)象存儲(chǔ)系統(tǒng)以及分布式存儲(chǔ)系統(tǒng)，云對(duì)象存儲(chǔ)系統(tǒng)通過(guò)一個(gè)集中式的數(shù)據(jù)中心再加上多個(gè)集群共同組建一個(gè)大規(guī)模集群，數(shù)據(jù)由集中式的數(shù)據(jù)中心分配至對(duì)應(yīng)的集群進(jìn)行存儲(chǔ)，用戶使用標(biāo)準(zhǔn)的S3接口就可以直接根據(jù)數(shù)據(jù)索引找到對(duì)應(yīng)的集群并進(jìn)行數(shù)據(jù)訪問(wèn)。現(xiàn)有技術(shù)中的云對(duì)象存儲(chǔ)系統(tǒng)，由于每個(gè)數(shù)據(jù)均對(duì)應(yīng)唯一的數(shù)據(jù)索引以及集群，不僅會(huì)增加元數(shù)據(jù)的存儲(chǔ)空間，不利于系統(tǒng)擴(kuò)容，使得系統(tǒng)性能急劇下降。而分布式存儲(chǔ)系統(tǒng)，規(guī)模較大但是復(fù)雜度高，搭建及維護(hù)成本高。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)方法、電子設(shè)備及存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)中存在的缺陷。

本發(fā)明實(shí)施例提供一種用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)方法，所述分布式存儲(chǔ)系統(tǒng)包括元數(shù)據(jù)中心和多個(gè)存儲(chǔ)集群，包括：

獲取待存儲(chǔ)對(duì)象的存儲(chǔ)請(qǐng)求，其中，所述存儲(chǔ)請(qǐng)求攜帶有所述待存儲(chǔ)對(duì)象的第一URL；

根據(jù)所述第一URL從所述元數(shù)據(jù)中心查找所述待存儲(chǔ)對(duì)象存放的RealBucket，其中，所述RealBucket屬于第一存儲(chǔ)集群；

利用所述第一存儲(chǔ)集群的集群類型重新組織所述第一URL以形成第二URL，并基于所述第二URL將所述待存儲(chǔ)對(duì)象存放到所述第一存儲(chǔ)集群。

根據(jù)本發(fā)明一個(gè)實(shí)施例的用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)方法，所述根據(jù)所述第一URL從所述元數(shù)據(jù)中心查找所述待存儲(chǔ)對(duì)象存放的RealBucket，包括：

根據(jù)所述第一URL中的用戶桶信息，確定所述待存儲(chǔ)對(duì)象對(duì)應(yīng)的虛擬存儲(chǔ)位置；

基于所述虛擬存儲(chǔ)位置，從所述元數(shù)據(jù)中心中存儲(chǔ)的預(yù)設(shè)映射關(guān)系中確定所述虛擬存儲(chǔ)位置對(duì)應(yīng)的RealBucket，并將所述虛擬存儲(chǔ)位置對(duì)應(yīng)的RealBucket作為所述待存儲(chǔ)對(duì)象存放的RealBucket。

根據(jù)本發(fā)明一個(gè)實(shí)施例的用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)方法，所述利用所述第一存儲(chǔ)集群的集群類型重新組織所述第一URL以形成第二URL，包括：

利用所述第一存儲(chǔ)集群的集群類型，或基于所述第一存儲(chǔ)集群的集群類型和對(duì)用戶進(jìn)行身份認(rèn)證所得的授權(quán)信息，結(jié)合所述待存儲(chǔ)對(duì)象存放的RealBucket以及所述第一存儲(chǔ)集群重新組織所述第一URL以形成所述第二URL。

根據(jù)本發(fā)明一個(gè)實(shí)施例的用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)方法，還包括：

基于每個(gè)存儲(chǔ)集群的運(yùn)行狀態(tài)信息，增加每個(gè)存儲(chǔ)集群中RealBucket的數(shù)量，并為每個(gè)RealBucket分配若干虛擬存儲(chǔ)位置。

根據(jù)本發(fā)明一個(gè)實(shí)施例的用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)方法，每個(gè)所述存儲(chǔ)集群均具有優(yōu)先級(jí)的屬性；

所述方法還包括：