[發(fā)明專利]數(shù)據(jù)分布存儲方法及相關(guān)裝置

有效

• 申請?zhí)枺?/td>: 201910239344.0
• 申請日: 2019-03-27
• 公開（公告）號: CN109992206B
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計）人: 張?zhí)鞚?/a>
• 申請（專利權(quán)）人: 新華三技術(shù)有限公司成都分公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 劉靜

本發(fā)明涉及分布式存儲技術(shù)領(lǐng)域，提供一種數(shù)據(jù)分布存儲方法及相關(guān)裝置，所述方法包括：獲取分布式存儲系統(tǒng)的第一拓撲結(jié)構(gòu)；根據(jù)歸屬于同一第一中間節(jié)點的OSD的權(quán)重，確定每個第一中間節(jié)點的權(quán)重；依據(jù)每個第一中間節(jié)點的權(quán)重及歸屬于同一第一中間節(jié)點的OSD的權(quán)重確定對應(yīng)的每個OSD的分配比例；根據(jù)分配比例依次為每個OSD分配DMG，每個OSD上的DMG個數(shù)與每個OSD的權(quán)重匹配，且所有OSD上的DMG個數(shù)之和等于M。本發(fā)明依據(jù)分布式存儲系統(tǒng)中與OSD容量成正比的OSD的權(quán)重，將分布式存儲系統(tǒng)中DMG列表中的DMG均衡地分布在分布式存儲系統(tǒng)中的每個OSD上，從而提高了分布式存儲系統(tǒng)中數(shù)據(jù)分布的均衡度。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)分布存儲方法及相關(guān)裝置。

背景技術(shù)

分布式存儲系統(tǒng)一般采用商業(yè)化通用存儲服務(wù)器，利用存儲管理軟件把服務(wù)器上的硬盤虛擬化成存儲資源池進行統(tǒng)一管理，可以提供包括塊存儲服務(wù)、文件存儲服務(wù)、對象存儲服務(wù)等融合存儲服務(wù)。分布式存儲系統(tǒng)由于其可擴展性、高性價比、高性能、數(shù)據(jù)高可靠性、業(yè)務(wù)靈活性高等方面的優(yōu)勢，目前發(fā)展迅速，在各行業(yè)中都有廣泛應(yīng)用。

在分布式存儲系統(tǒng)中，待存儲文件首先被切分成固定長度的文件塊，通過將文件塊映射至不同主機的不同對象存儲設(shè)備OSD(Object Storage Device)，將文件塊中的數(shù)據(jù)存儲至對應(yīng)OSD，最終實現(xiàn)將待存儲文件中的數(shù)據(jù)存儲至分布式存儲系統(tǒng)中。

在分布式存儲系統(tǒng)中，如何將待存儲文件中的數(shù)據(jù)均衡地存儲至不同主機的不同OSD上是本領(lǐng)域技術(shù)人員亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明實施例的目的在于提供一種數(shù)據(jù)分布存儲方法及相關(guān)裝置，用于提高分布式存儲系統(tǒng)中數(shù)據(jù)分布的均衡度。

為了實現(xiàn)上述目的，本發(fā)明實施例采用的技術(shù)方案如下：

第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)分布存儲方法，應(yīng)用于分布式存儲系統(tǒng)中的存儲節(jié)點，存儲節(jié)點包括多個對象存儲設(shè)備OSD，分布式存儲系統(tǒng)存在數(shù)據(jù)管理組DMG列表，DMG列表包含M個DMG，M個DMG劃分為K個DMG集合，每個DMG集合包含N個DMG；任意兩個DMG集合具有關(guān)聯(lián)關(guān)系的DMG互為備份；K個DMG集合依次排列，且每個DMG集合中的N個DMG的排列順序一致，所述方法包括：獲取分布式存儲系統(tǒng)的第一拓撲結(jié)構(gòu)，其中，第一拓撲結(jié)構(gòu)包括葉子層和第一中間層，每個OSD為一個葉子節(jié)點，至少一個葉子節(jié)點構(gòu)成葉子層，第一中間層包括多個第一中間節(jié)點，每個第一中間節(jié)點均有至少一個葉子節(jié)點歸屬于對應(yīng)的第一中間節(jié)點；根據(jù)歸屬于同一第一中間節(jié)點的OSD的權(quán)重，確定每個第一中間節(jié)點的權(quán)重，其中，OSD的權(quán)重與OSD的容量大小成正比，其中，OSD的權(quán)重與OSD的容量大小成正比；依據(jù)每個第一中間節(jié)點的權(quán)重及歸屬于同一第一中間節(jié)點的OSD的權(quán)重確定對應(yīng)的每個OSD的分配比例；根據(jù)分配比例依次為每個OSD分配DMG，每個OSD上的DMG個數(shù)與每個OSD的權(quán)重匹配，且所有OSD上的DMG個數(shù)之和等于M。