[發(fā)明專利]分布式文件系統(tǒng)中的文件處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201210127060.0
• 申請日: 2012-04-26
• 公開（公告）號: CN102708165A
• 公開（公告）日: 2012-10-03
• 發(fā)明（設計）人: 唐金根;袁洪錦
• 申請（專利權）人: 華為軟件技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

技術領域

本發(fā)明涉及數據處理技術，尤其涉及一種分布式文件系統(tǒng)(Distributed?File?System，簡稱為：DFS)中的文件處理方法及裝置。

背景技術

分布式文件系統(tǒng)的存儲系統(tǒng)可以有效滿足對互聯網業(yè)務的海量數據內容的存儲。以谷歌(Google)公司的分布式文件系統(tǒng)(Google?File?System，簡稱為：GFS)為例，GFS集群由一個元數據服務器(master節(jié)點)和多個塊服務器(chunk?server)組成，元數據服務器與塊服務器之間有定期的心跳線進行通訊，并且心跳線會傳遞信息以及塊服務器的狀態(tài)。元數據服務器負責管理所有文件的文件系統(tǒng)的元數據，元數據可以包括命名空間(namespace)、訪問控制信息、文件到塊的映射關系、當前塊的位置等信息。元數據服務器也同樣控制系統(tǒng)級別的活動，比如塊的分配管理、孤點塊的垃圾回收機制、塊服務器之間的塊鏡像管理等等。

在GFS中，每一個文件都會被拆分成固定大小的塊(chunk)，每一個塊都由元數據服務器根據該塊創(chuàng)建的時間產生一個全局唯一的、以后也不會改變的64位的塊標志(chunk?handle)。塊服務器在本地磁盤上用本地文件系統(tǒng)保存這些塊，并且根據塊標志和字節(jié)區(qū)間固定大小，通過本地文件系統(tǒng)讀寫這些塊的數據。出于可靠性的考慮，每一個塊都會在不同的塊服務器上保存?zhèn)浞荩笔∏闆r下，GFS保存3個備份(一主二備)。

在分布式文件系統(tǒng)中，文件的存儲與讀取是最主要的兩種文件處理方式。仍然以GFS為例進行說明。無論是文件的存儲還是讀取，都是需要與元數據服務器進行信息交互，而元數據服務器為集中式的管理模式，可存儲或讀取的元數據的容量就是有限的，這就導致了元數據服務器成為分布式文件系統(tǒng)的容量瓶頸，無法支持更大的擴容。

因此，現有的分布式文件系統(tǒng)依賴集中式的元數據服務器來確定數據的存儲節(jié)點的路由，限制了分布式文件系統(tǒng)更大的擴容。

發(fā)明內容

為了解決分布式文件系統(tǒng)支持更大的擴容和存儲，本發(fā)明提供一種分布式文件系統(tǒng)中的文件處理方法，包括：

接收用戶的文件操作請求，所述文件操作請求中至少攜帶文件描述信息及操作類型；

根據所述文件描述信息在元數據服務器的全部節(jié)點中確定用于存儲文件元數據的元主節(jié)點，所述元數據服務器的全部節(jié)點形成分布式哈希表網絡；

根據所述文件描述信息在數據塊服務器的全部節(jié)點中確定用于存儲文件數據塊的塊主節(jié)點，所述數據塊服務器的全部節(jié)點形成分布式哈希表網絡；

根據所述操作類型完成與所述元主節(jié)點以及所述塊主節(jié)點之間的操作。

本發(fā)明還提供一種分布式文件系統(tǒng)中的文件處理裝置，包括：

接收模塊，用于接收用戶的文件操作請求，所述文件操作請求中至少攜帶文件描述信息及操作類型；

路由確定模塊，用于根據所述文件描述信息在元數據服務器的全部節(jié)點中確定用于存儲文件元數據的元主節(jié)點，所述元數據服務器的全部節(jié)點形成分布式哈希表網絡；根據所述文件描述信息在數據塊服務器的全部節(jié)點中確定用于存儲文件數據塊的塊主節(jié)點，所述數據塊服務器的全部節(jié)點形成分布式哈希表網絡；

處理模塊，用于根據所述操作類型完成與所述元主節(jié)點以及所述塊主節(jié)點之間的操作。

本發(fā)明的技術效果是：接收到用戶的文件操作請求時，根據文件操作請求所攜帶的文件描述信息在元數據服務器的全部節(jié)點中確定用于存儲文件元數據的元主節(jié)點，再根據文件操作請求所攜帶的操作類型完成與元主節(jié)點之間的操作。由于元數據服務器的全部節(jié)點形成分布式哈希表網絡，使得元數據服務器不再是集中式管理的一個節(jié)點，根據不同文件描述信息可以將文件的元數據分配給元數據服務器中的不同節(jié)點，有效實現了元數據服務器的擴容；同時，文件數據塊服務器組成分布式哈希表網絡，有效地實現了數據塊內容的擴容。通過客戶端將這兩個分離的分布式哈希表存儲網絡組合起來，為上層應用提供服務。通過這種方式有效地解決了海量的文件數據存儲和擴容的問題。

附圖說明

圖1為本發(fā)明實施例一提供的分布式文件系統(tǒng)中的文件處理方法流程圖；

圖2為本發(fā)明實施例二提供的步驟102的具體實現流程圖；

圖3為本發(fā)明實施例二提供的邏輯DHT標識符圓環(huán)的示意圖；

圖4為本發(fā)明實施例四提供的分布式文件系統(tǒng)中的文件處理裝置結構示意圖。

具體實施方式

圖1為本發(fā)明實施例一提供的分布式文件系統(tǒng)中的文件處理方法流程圖，如圖1所示，該方法包括：