[發(fā)明專(zhuān)利]多模態(tài)低能耗分布式云存儲(chǔ)系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310002471.5
• 申請(qǐng)日: 2023-01-03
• 公開(kāi)（公告）號(hào): CN115963995A
• 公開(kāi)（公告）日: 2023-04-14
• 發(fā)明（設(shè)計(jì)）人: 張展翔;任延平;李巍;葉強(qiáng);劉國(guó)華;葛青波
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中能融合智慧科技有限公司
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06
• 代理公司: 北京正和明知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11845
• 代理人: 劉陽(yáng)陽(yáng)

本發(fā)明提供多模態(tài)低能耗分布式云存儲(chǔ)系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)，其中，系統(tǒng)包括：熱數(shù)據(jù)存儲(chǔ)池：采用高性能存儲(chǔ)介質(zhì)存儲(chǔ)數(shù)據(jù)；溫?cái)?shù)據(jù)存儲(chǔ)池采用普通性能存儲(chǔ)介質(zhì)存儲(chǔ)數(shù)據(jù)；冷數(shù)據(jù)存儲(chǔ)池采用高密存儲(chǔ)介質(zhì)或低速存儲(chǔ)介質(zhì)存儲(chǔ)數(shù)據(jù)；客戶(hù)端與熱數(shù)據(jù)存儲(chǔ)池、溫?cái)?shù)據(jù)存儲(chǔ)池、冷數(shù)據(jù)存儲(chǔ)池和元數(shù)據(jù)集群連接，實(shí)現(xiàn)寫(xiě)數(shù)據(jù)流程和讀數(shù)據(jù)流程；元數(shù)據(jù)集群的調(diào)度模塊與熱數(shù)據(jù)存儲(chǔ)池、溫?cái)?shù)據(jù)存儲(chǔ)池和冷數(shù)據(jù)存儲(chǔ)池連接，根據(jù)實(shí)現(xiàn)搬移數(shù)據(jù)流程。本發(fā)明提出的方案，實(shí)現(xiàn)了多模態(tài)數(shù)據(jù)存儲(chǔ)池云存儲(chǔ)架構(gòu)，將數(shù)據(jù)分類(lèi)為熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)，不同熱度的數(shù)據(jù)存儲(chǔ)于不同類(lèi)型的存儲(chǔ)池。即保證熱數(shù)據(jù)高性能，又降低了溫冷數(shù)據(jù)的存儲(chǔ)成本及存儲(chǔ)能耗。

技術(shù)領(lǐng)域

本發(fā)明屬于互聯(lián)網(wǎng)領(lǐng)域，尤其涉及多模態(tài)低能耗分布式云存儲(chǔ)系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著云計(jì)算技術(shù)的發(fā)展，越來(lái)越多的用戶(hù)業(yè)務(wù)上云，用戶(hù)在生產(chǎn)中產(chǎn)生的多維數(shù)據(jù)保存在高可靠的分布式云存儲(chǔ)中。用戶(hù)在使用的過(guò)程中，產(chǎn)生的數(shù)據(jù)越來(lái)越多，存儲(chǔ)成本所占比重也越來(lái)越大。如何有效降低云存儲(chǔ)的成本及生產(chǎn)能耗成為一個(gè)重要問(wèn)題。

如圖2所示，AZ內(nèi)部典型的分布式存儲(chǔ)集群架構(gòu)數(shù)據(jù)面分為，客戶(hù)端、元數(shù)據(jù)集群、存儲(chǔ)池。

當(dāng)前云存儲(chǔ)實(shí)現(xiàn)方案在成本與能耗方面主要存在以下幾個(gè)方面問(wèn)題：

(1)為追求高性能，存儲(chǔ)池使用昂貴的存儲(chǔ)設(shè)備(如固態(tài)硬盤(pán))，提高了使用成本。

(2)為追求高可靠，存儲(chǔ)池使用數(shù)據(jù)冗余技術(shù)(如RAID)，提高了使用成本。

(3)為追求低延遲，存儲(chǔ)服務(wù)器CPU關(guān)閉低能耗模式，提高了能源消耗。

發(fā)明內(nèi)容

為解決上述技術(shù)問(wèn)題，本發(fā)明提出多模態(tài)低能耗分布式云存儲(chǔ)、電子設(shè)備及存儲(chǔ)介質(zhì)的技術(shù)方案，以解決上述技術(shù)問(wèn)題。

本發(fā)明第一方面公開(kāi)了一種多模態(tài)低能耗分布式云存儲(chǔ)系統(tǒng)，所述系統(tǒng)包括：

客戶(hù)端、熱數(shù)據(jù)存儲(chǔ)池、溫?cái)?shù)據(jù)存儲(chǔ)池、冷數(shù)據(jù)存儲(chǔ)池和元數(shù)據(jù)集群；

所述熱數(shù)據(jù)存儲(chǔ)池：采用高性能存儲(chǔ)介質(zhì)存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)冗余策略為多副本；

所述溫?cái)?shù)據(jù)存儲(chǔ)池：采用普通性能存儲(chǔ)介質(zhì)存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)冗余策略為多副本或小條帶的糾刪碼編碼；

所述冷數(shù)據(jù)存儲(chǔ)池：采用高密存儲(chǔ)介質(zhì)或低速存儲(chǔ)介質(zhì)存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)冗余策略為大條帶糾刪碼編碼；

所述客戶(hù)端與所述熱數(shù)據(jù)存儲(chǔ)池、溫?cái)?shù)據(jù)存儲(chǔ)池、冷數(shù)據(jù)存儲(chǔ)池和元數(shù)據(jù)集群連接，實(shí)現(xiàn)寫(xiě)數(shù)據(jù)流程和讀數(shù)據(jù)流程；

所述元數(shù)據(jù)集群的調(diào)度模塊與所述熱數(shù)據(jù)存儲(chǔ)池、溫?cái)?shù)據(jù)存儲(chǔ)池和冷數(shù)據(jù)存儲(chǔ)池連接，根據(jù)實(shí)現(xiàn)搬移數(shù)據(jù)流程。

根據(jù)本發(fā)明第一方面的系統(tǒng)，所述寫(xiě)數(shù)據(jù)流程的步驟包括：

步驟W1、所述客戶(hù)端收到用戶(hù)文件寫(xiě)入數(shù)據(jù)請(qǐng)求；

步驟W21、如果文件已打開(kāi)，則已獲取到文件所在存儲(chǔ)池，則執(zhí)行步驟W3；

步驟W2.2、如果文件未打開(kāi)，則向所述元數(shù)據(jù)集群請(qǐng)求打開(kāi)文件；

步驟W2.3、元數(shù)據(jù)集群收到打開(kāi)文件請(qǐng)求，則將所述文件的訪問(wèn)計(jì)數(shù)加1；如果所述文件是新創(chuàng)建文件則分配到熱數(shù)據(jù)存儲(chǔ)池；反之，則返回所述文件當(dāng)前所在存儲(chǔ)池；

步驟W3：向文件所在存儲(chǔ)池寫(xiě)數(shù)據(jù)；

步驟W4：數(shù)據(jù)寫(xiě)入完成返回客戶(hù)端響應(yīng)。

根據(jù)本發(fā)明第一方面的系統(tǒng)，所述讀數(shù)據(jù)流程的步驟包括：

步驟R1、所述客戶(hù)端收到用戶(hù)文件讀取數(shù)據(jù)請(qǐng)求；