[發明專利]分布式文件存儲構架的構建方法和裝置

有效

• 申請號: 200910179938.3
• 申請日: 2009-10-10
• 公開（公告）號: CN101673289A
• 公開（公告）日: 2010-03-17
• 發明（設計）人: 程菊生;孔晗;袁遠
• 申請（專利權）人: 成都市華為賽門鐵克科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三友知識產權代理有限公司
• 代理人: 任默聞

技術領域

本發明涉及一種信息處理方法，尤其涉及一種分布式文件存儲構架的構 建方法和裝置。

背景技術

隨著存儲領域直連方式存儲(DAS，Direct?Attachment?Storage)、網絡 存儲(NAS，Network?Attachment?Storage)、存儲域網(SAN，Storage?Area Network)的高速發展，新技術不斷涌現出來。近幾年，分布式文件系統得到 大力發展，開始應用于存儲解決方案中。

在本發明的過程中，本發明人發現，現有的分布式文件系統的管理都是 基于文件名稱進行的，但由于使用者的操作習慣的不同，分布式文件系統中 會逐漸出現很多名稱不同但內容相同的“重復文件”，占據了大量的存儲空間， 且不利于文件的管理。

發明內容

本發明實施例的目的在于提供一種分布式文件存儲構架的構建方法和裝 置，用于解決文件存儲系統中的重復文件的問題。

本發明實施例提供一種分布式文件存儲構架的構建方法，包括：選取文 件；對所述文件的文件內容進行Hash計算，獲得所述文件的文件標識；根據 所述文件標識來構建文件的分布式文件存儲構架。

本發明實施例還提供一種分布式文件存儲構架的構建裝置，包括：文件 標識獲取模塊，用于對文件的文件內容進行Hash計算，獲得文件的文件標識； 構架構建模塊，用于根據文件標識構建分布式文件存儲構架。

本發明通過將文件標識和文件內容相聯系，使得分布式文件系統以文件 內容為基礎來管理文件，避免了冗余的重復文件的出現。

附圖說明

此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部 分，并不構成對本發明的限定。在附圖中：

圖1為本發明實施例一的分布式文件存儲構架的構建方法的流程圖；

圖2為本發明的分布式文件存儲構架的結構示意圖；

圖3為本發明的分布式文件存儲構架中超級塊的結構示意圖；

圖4為本發明的分布式文件存儲構架中索引節點分配表的結構示意圖；

圖5為本發明實施例二的分布式文件存儲構架的構建方法的流程圖；

圖6為本發明實施例三的分布式文件存儲構架的構建裝置的結構示意圖。

具體實施方式

為使本發明實施例的目的、技術方案和優點更加清楚明白，下面結合實 施例和附圖，對本發明實施例做進一步詳細說明。在此，本發明的示意性實 施例及其說明用于解釋本發明，但并不作為對本發明的限定。

實施例一

本實施例提供一種分布式文件存儲構架的構建方法。下面參照圖1，詳細 描述該方法，該方法包括：

步驟S101：選取文件；

步驟S102：對所述文件的文件內容進行Hash計算，獲得所述文件的文件 標識；

其中，通過對文件內容進行Hash計算得到文件的HASH值從而獲得文件 的文件標識，比如，通過MD5、SHA-1、SHA-2、SHA-256等方法計算得到；

步驟S103：根據所述文件標識來構建文件的分布式文件存儲構架。

如圖2所示，分布式文件存儲構架包括超級塊層(super?block)、索引 節點匹配層(IMAP，inode?map)、索引節點層(inode)和數據塊層四層(data block)。其中如圖3所示，索引節點匹配層用于在文件標識和文件的索引節 點之間進行匹配，索引節點層用于在文件的索引節點和存儲數據之間進行匹 配。在該步驟中，在超級塊層中定義塊組(group?descriptor)，塊位圖(block bitmap)、索引節點位圖(inode?bitmap)、索引節點匹配位圖(IMAP?bitmap)。 索引節點層可以采用EXT2/EXT3或其文件系統的索引節點結構。

此外，根據文件的文件標識構建索引節點匹配層。索引節點匹配層采取 樹狀結構，由多個索引節點匹配表構成。每個索引節點匹配表由相關的主鍵 值(key)和鍵值(value)對構成，可以用B樹、B+樹或B-樹等來構建。以 B+樹為例，文件的文件標識，例如HASH值，作為指針塊的主鍵值(key)，文 件的索引節點作為指針塊的鍵值(value)，定義如下：

keyMAP＝Map(key＝文件的HASH值，value＝文件的索引節點)。