[發明專利]數據存儲方法、裝置及存儲介質

有效

• 申請號: 201810079304.X
• 申請日: 2018-01-26
• 公開（公告）號: CN108287669B
• 公開（公告）日: 2019-11-12
• 發明（設計）人: 劉源
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 于志光;郭夢霞

1.一種數據存儲方法，應用于電子裝置，該電子裝置通過網絡連接分布式存儲系統，分布式存儲系統提供一系列主機及對象存儲設備(Object Storage Device，OSD)，其特征在于，該方法包括：

設備分配步驟：每隔預設周期按照預設規則確定各業務組使用的OSD的數量，并為同一個業務組的OSD分配一個唯一的子集群標識，其中，具有不同子集群標識的OSD位于不同的主機；

請求接收步驟：接收用戶向分布式存儲系統存儲數據文件的請求；

業務組確定步驟：根據用戶的識別信息確定該用戶所屬的業務組及該業務組OSD的子集群標識；及

文件存儲步驟：將所述數據文件均勻切分為多個數據塊，利用在可擴展散列下的受控復制(Controlled Replication Under Scalable Hashing，CRUSH)算法將每個數據塊的多個副本存儲在具有對應子集群標識的OSD中。

2.如權利要求1所述的數據存儲方法，其特征在于，所述設備分配步驟中的預設規則包括：

統計各業務組在一個預設周期內在分布式存儲系統中存儲數據的歷史資料，包括總數據大小、涉及的OSD總數量和發生數據遷移的OSD數量；

根據各業務組的總數據大小、涉及的OSD總數量和發生數據遷移的OSD數量計算得到所有業務組在該預設周期內在該分布式存儲系統中存儲數據的平均數據大小、平均OSD數量和發生數據遷移的OSD平均數量；

當某個業務組的總數據大小與所有業務組的平均數據大小之差每大于第一預設閾值時，在所述涉及的OSD總數量的基礎上，為該業務組增加第一預設數量的OSD；

當某個業務組發生數據遷移的OSD數量與所有業務組發生數據遷移的OSD平均數量之差每大于第二預設閾值時，在所述涉及的OSD總數量的基礎上，為該業務組增加第二預設數量的OSD。

3.如權利要求1所述的數據存儲方法，其特征在于，所述文件存儲步驟包括以下步驟：

將所述數據文件均勻切分為多個數據塊；

將每個數據塊映射到一個歸置組(placement group，PG)中；

利用CRUSH算法將每個PG的多個副本存儲在具有對應子集群標識的OSD中。

4.如權利要求1或2所述的數據存儲方法，其特征在于，該方法還包括：當一個OSD發生故障時，利用該OSD所屬子集群的其它OSD存儲的副本數據恢復該OSD中存儲的數據。

5.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中包括數據存儲程序，所述數據存儲程序被所述處理器執行時實現如下步驟：

設備分配步驟：每隔預設周期按照預設規則確定各業務組使用的OSD的數量，并為同一個業務組的OSD分配一個唯一的子集群標識，其中，具有不同子集群標識的OSD位于不同的主機；

請求接收步驟：接收用戶向分布式存儲系統存儲數據文件的請求；

業務組確定步驟：根據用戶的識別信息確定該用戶所屬的業務組及該業務組OSD的子集群標識；及

文件存儲步驟：將所述數據文件均勻切分為多個數據塊，利用CRUSH算法將每個數據塊的多個副本存儲在具有對應子集群標識的OSD中。

6.如權利要求5所述的電子裝置，其特征在于，所述設備分配步驟中的預設規則包括：

統計各業務組在一個預設周期內在分布式存儲系統中存儲數據的歷史資料，包括總數據大小、涉及的OSD總數量和發生數據遷移的OSD數量；

根據各業務組的總數據大小、涉及的OSD總數量和發生數據遷移的OSD數量計算得到所有業務組在該預設周期內在該分布式存儲系統中存儲數據的平均數據大小、平均OSD數量和發生數據遷移的OSD平均數量；

當某個業務組的總數據大小與所有業務組的平均數據大小之差每大于第一預設閾值時，在所述涉及的OSD總數量的基礎上，為該業務組增加第一預設數量的OSD；

當某個業務組發生數據遷移的OSD數量與所有業務組發生數據遷移的OSD平均數量之差每大于第二預設閾值時，在所述涉及的OSD總數量的基礎上，為該業務組增加第二預設數量的OSD。