[發明專利]數據存儲系統、數據存儲方法、可讀介質和電子設備

在審

• 申請號: 202111131243.5
• 申請日: 2021-09-26
• 公開（公告）號: CN113901024A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 王紅巖;何小春
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

本公開提供一種數據存儲系統、數據存儲方法、可讀介質和電子設備，涉及數據處理技術領域。該系統包括：客戶端，用于獲取待存儲的原始數據；元數據管理裝置，用于持久化存儲原始數據對應的元數據信息，若確定原始數據為熱數據，則將元數據信息存儲至熱卷，若確定原始數據為冷數據，則將元數據信息存儲至冷卷；數據存儲裝置，用于存儲原始數據，若元數據信息存儲在熱卷，則將原始數據以多副本的形式持久化存儲在副本服務模塊，若元數據信息存儲在冷卷，則將原始數據存儲在糾刪碼在線存儲引擎中。本公開能夠提升數據存儲系統的數據讀寫能力，降低帶寬的占用，降低存儲成本，提升系統性能。

技術領域

本公開涉及數據處理技術領域，具體涉及一種數據存儲系統、數據存儲方法、計算機可讀介質和電子設備。

背景技術

隨著科學技術的不斷進步，需要處理的數據越來越多，數據湖(Data Lake)的概念隨之出現。數據湖的理念是所有的數據全部都放在一起，這個規模是非常龐大的，另外一點是文件的規模，亦可達千億級別，同時扁平的目錄下可能會有百萬文件級別的超大的目錄。數據湖的一部分價值是把不同種類的數據匯聚到一起，另一部分價值是不需要預定義的模型就能進行數據分析。

目前，在典型的數據湖架構里面中，主要包括三層：存儲層、數據定義層和計算層。湖存儲負責海量數據的存儲及管理，服務于各種云計算引擎Spark，Presto等，整個數據湖平臺支持多種復雜應用，譬如數據大屏，數據報表，數據挖掘，機器學習等。在這些應用場景中，隨著數據量的不斷增長積累，數據也會呈現出訪問熱度不同的巨大差異，然而相關技術中無論數據的訪問熱度情況，都采用同樣的存儲策略，無法實現集群資源的充分利用。

應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本公開。

發明內容

本公開的目的在于提供一種數據存儲系統、數據存儲方法、計算機可讀介質和電子設備，進而至少在一定程度上避免相關技術中對不同訪問熱度的數據都采用同樣的存儲策略而導致的集群資源利用率低、系統性能較差的問題。

根據本公開的第一方面，提供一種數據存儲系統，包括：

客戶端，用于獲取待存儲的原始數據；

元數據管理裝置，包括熱卷和冷卷，用于持久化存儲所述原始數據對應的元數據信息，其中，若確定所述原始數據為熱數據，則將所述元數據信息存儲至所述熱卷，若確定所述原始數據為冷數據，則將所述元數據信息存儲至所述冷卷；

數據存儲裝置，包括副本服務模塊和糾刪碼在線存儲引擎，用于存儲所述原始數據，其中，若所述元數據信息存儲在所述熱卷，則將所述原始數據以多副本的形式持久化存儲在所述副本服務模塊，若所述元數據信息存儲在所述冷卷，則將所述原始數據存儲在所述糾刪碼在線存儲引擎中。

根據本公開的第二方面，提供一種數據存儲方法，應用于第一方面所述的數據存儲系統，該方法包括：

獲取待存儲的原始數據；

若確定所述原始數據為熱數據，則將所述元數據信息存儲至所述熱卷，以及將所述原始數據以多副本的形式持久化存儲在所述副本服務模塊；

若確定所述原始數據為冷數據，則將所述元數據信息存儲至所述冷卷，以及將所述原始數據存儲在所述糾刪碼在線存儲引擎中。

根據本公開的第三方面，提供一種計算機可讀介質，其上存儲有計算機程序，計算機程序被處理器執行時實現上述的數據存儲方法。

根據本公開的第四方面，提供一種電子設備，其特征在于，包括：

處理器；以及

存儲器，用于存儲一個或多個程序，當一個或多個程序被一個或多個處理器執行時，使得一個或多個處理器實現上述的數據存儲方法。