[發(fā)明專利]一種分布式存儲系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711426419.3
• 申請日: 2017-12-25
• 公開（公告）號: CN109960460B
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計）人: 葛寶梁
• 申請（專利權(quán)）人: 上海盛霄云計算技術(shù)有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 上海市海華永泰律師事務(wù)所 31302
• 代理人: 包文超

本發(fā)明涉及一種分布式存儲系統(tǒng)，由Master模塊，Client模塊，BlockNode模塊，Zookeeper cluster模塊組成。Master模塊是系統(tǒng)的核心模塊，主要負(fù)責(zé)用戶業(yè)務(wù)邏輯處理，存儲資源管理調(diào)度，數(shù)據(jù)多備管理控制等等。Client模塊主要負(fù)責(zé)在宿主機上對存儲模塊的管理操作。BlockNode模塊主要負(fù)責(zé)對存儲介質(zhì)的管理。系統(tǒng)架構(gòu)在文件系統(tǒng)之上，借助文件為存儲介質(zhì)。BlockNode模塊實現(xiàn)對存儲服務(wù)器上的存儲空間管理，Zookeeper cluster模塊主要負(fù)責(zé)整個系統(tǒng)集群信息一致性同步。整個系統(tǒng)實現(xiàn)了對存儲的虛擬化管理，提供了可靠，高效，靈活的數(shù)據(jù)存儲和數(shù)據(jù)訪問，滿足了用戶對存儲的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及一種計算機存儲系統(tǒng)，尤其涉及一種分布式存儲系統(tǒng)。

背景技術(shù)

隨著計算機技術(shù)發(fā)展，特別是云概念的提出，計算機物理存儲方式和存儲容量，以及存儲的訪問方式都發(fā)生了巨大變化，原有的存儲系統(tǒng)已經(jīng)不能，所以提出了分布式存儲系統(tǒng)實現(xiàn)(EBS)概念。分布式存儲系統(tǒng)需要在提供海量存儲空間的同時，實現(xiàn)數(shù)據(jù)的多備存儲，提升數(shù)據(jù)可靠性。同時，分布式存儲系統(tǒng)需要提供高IO性能來應(yīng)對多租戶同時讀寫的性能保障。分布式存儲系統(tǒng)擁有獨立的生命周期，提供靈活的掛載方式，使數(shù)據(jù)可以在不同虛擬主機間進行切換訪問。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明涉及一種分布式存儲系統(tǒng)，由Master模塊，Client模塊，BlockNode模塊，Zookeeper cluster模塊組成。Master模塊是系統(tǒng)的核心模塊，主要負(fù)責(zé)用戶業(yè)務(wù)邏輯處理，存儲資源管理調(diào)度，數(shù)據(jù)多備管理控制等等。Client模塊主要負(fù)責(zé)在宿主機上對存儲模塊的管理操作，包括存儲設(shè)備的掛載，卸載，存儲設(shè)備和物理設(shè)備的映射等等，同時提供數(shù)據(jù)通道的功能，用戶對數(shù)據(jù)的訪問通過網(wǎng)絡(luò)傳輸?shù)紺lient模塊，在通過Client模塊實現(xiàn)對具體設(shè)備的讀寫，實現(xiàn)存儲訪問的虛擬化。BlockNode模塊主要負(fù)責(zé)對存儲介質(zhì)的管理。系統(tǒng)架構(gòu)在文件系統(tǒng)之上，借助文件為存儲介質(zhì)。BlockNode模塊實現(xiàn)對存儲服務(wù)器上的存儲空間管理，將存儲空間通過文件的形式進行劃分，用戶數(shù)據(jù)通過調(diào)度存儲在文件上，實現(xiàn)存儲的虛擬化。Zookeeper cluster模塊主要負(fù)責(zé)整個系統(tǒng)集群信息一致性同步。

包括BlockNode模塊數(shù)據(jù)文件的創(chuàng)建：創(chuàng)建BlockNode模塊的節(jié)點，BlockNode模塊節(jié)點在初始化的同時在硬盤創(chuàng)建大于一個以1G為單位的文件。文件的文件名以數(shù)字為編號，從1開始直到n結(jié)束；在每塊硬盤上創(chuàng)建一個bitmap文件，文件名為volume.bm，bitmap文件數(shù)據(jù)的前8個字節(jié)記錄BlockNode模塊的空間大小，后面的n個位用來標(biāo)志這些創(chuàng)建的文件是否被使用；Bitmap文件保存在各個硬盤的根目錄下。

包括卷標(biāo)的元數(shù)據(jù)的管理：為每個卷標(biāo)創(chuàng)建一個元數(shù)據(jù)文件，以blockID.vol命名，記錄卷標(biāo)的版本號和其對應(yīng)的文件。在卷標(biāo)創(chuàng)建分配塊時，通過查詢bitmap位圖，來查找沒有使用的文件；卷標(biāo)對應(yīng)的文件分散在不同的硬盤。

卷標(biāo)(volume)的元數(shù)據(jù)文件保存在/root/BlockNode模塊/目錄下，bitmap文件分別保存在各自硬盤的根目錄，所述BlockNode模塊啟動時讀取所述元數(shù)據(jù)文件，然后在內(nèi)存中組織這些數(shù)據(jù)。

包括Queue數(shù)據(jù)存儲到硬盤的格式：Queue的數(shù)據(jù)結(jié)構(gòu)分兩種類型：volumeID.jou存儲描述Queue的結(jié)構(gòu)體，volume.jdata存儲塊的數(shù)據(jù)。每n個Queue項目存一對這樣類型的文件，以自然數(shù)序列作為后綴名。

當(dāng)內(nèi)存不足時所述Queue寫入硬盤，并在所述Queue的header里將在所述硬盤中的Queue的數(shù)目修改，寫入所述硬盤的更新序列按序列號從小到大進行排列。