[發明專利]分布式文件系統及其數據同步的方法

在審

• 申請號: 201510362815.9
• 申請日: 2015-06-26
• 公開（公告）號: CN104935668A
• 公開（公告）日: 2015-09-23
• 發明（設計）人: 楊雪蓮;李強;姜韜
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 四川省成都市天策商標專利事務所 51213
• 代理人: 劉渝

技術領域

本發明涉及數據存儲領域，特別涉及一種分布式文件系統及其數據同步的方法。

背景技術

目前，人類已經步入了信息化的時代，信息總量正以幾何級數方式增長，以社交網站、云計算為代表的信息系統，需要處理的數據已經達到PB級別，并朝著EB級別發展，為了解決日益增長的海量數據存儲需求，分布式文件存儲逐步成為了研究熱點。文件的訪問主要分為兩種情況：一種是對文件進行修改，包括設置文件附件屬性以及刪除文件等操作；另一種則是文件的下載。由于文件系統是天生的靜態資源，因此在大多數時候，我們都需要文件系統提供文件的下載服務。由于分布式文件存儲系統的數據存儲服務器，通常由普通的、廉價的硬件組成，為了提高數據的可靠性，需要對不同服務器間的數據進行同步。但是目前的分布式文件系統的文件同步方式屬于異步方式，異步方式會帶來文件同步延遲的問題，即如果用戶上傳完一個文件，馬上在沒有完成文件同步的數據存儲服務器上發起下載請求，就會出現查找不到文件的現象。

發明內容

【要解決的技術問題】

本發明的目的是提供一種分布式文件系統及其數據同步的方法，以解決目前的分布式文件系統數據同步時存在延遲的問題。

【技術方案】

本發明是通過以下技術方案實現的。

本發明涉及一種分布式文件系統，該系統包括：

客戶端，被配置成向資源定位模塊發送文件上傳請求、向選擇的數據存儲節點發送文件下載請求；

資源定位模塊，包括至少一個資源定位器，所述資源定位器被配置成處理客戶端發送的文件上傳和/或下載請求、監控數據存儲模塊的運行狀態；

數據存儲模塊，包括至少一組數據存儲服務器，所述數據存儲服務器包括至少一個數據存儲節點，所述數據存儲節點均連接有Web服務器和擴展模塊，所述數據存儲節點用于實現文件的存儲、同步，所述Web服務器和擴展模塊用于提供HTTP下載服務。

作為一種優選的實施方式，所述數據存儲模塊被配置成：當客戶端選擇數據存儲節點發送下載請求，所選擇的數據存儲節點解析客戶端的下載請求得到待下載文件的文件ID，根據文件ID判定該數據存儲節點是否存儲有待下載文件，如果該數據存儲節點存儲有待下載文件，則該數據存儲節點根據文件ID定位到文件所在目錄，根據文件名查找待下載文件并由該數據存儲節點的Web服務器完成下載；反之則由該數據存儲節點的擴展模塊向源節點發送Redirect指令或向其他數據存儲節點發送Proxy指令，源節點接收指令后根據文件ID查找得到待下載文件并由源節點的Web服務器完成下載或其他數據存儲節點接收指令后根據文件ID查找得到待下載文件并由該數據存儲節點的Web服務器完成下載，所述源節點為用戶上傳所述待下載文件時資源定位模塊為用戶分配的數據存儲節點。

本發明還涉及一種分布式文件系統數據同步的方法，包括：

初始化分布式文件系統中數據存儲模塊的Web服務器和擴展模塊；

當用戶上傳文件時，客戶端向資源定位模塊發起上傳請求，資源定位模塊中的資源定位器根據客戶端的上傳請求將客戶端與資源定位模塊連接，通過資源定位模塊為用戶分配源節點，客戶端與源節點通信完成文件的上傳并返回文件ID，所述源節點為資源定位器查詢得到的可用的數據存儲節點，所述文件ID至少包括數據存儲服務器的組名、文件路徑信息、文件名；

源節點將上傳的文件主動推送至與源節點同組的數據存儲節點。

作為一種優選的實施方式，還包括：

當用戶下載所述上傳成功的文件時，客戶端選擇數據存儲節點發送下載請求，所選擇的數據存儲節點解析客戶端的下載請求得到待下載文件的文件ID，根據文件ID判定該數據存儲節點是否存儲有待下載文件，如果該數據存儲節點存儲有待下載文件，則該數據存儲節點根據文件ID定位到文件所在目錄，根據文件名查找待下載文件并由該數據存儲節點的Web服務器完成下載；反之則由該數據存儲節點的擴展模塊向源節點發送Redirect指令或向其他數據存儲節點發送Proxy指令，源節點接收指令后根據文件ID查找得到待下載文件并由源節點的Web服務器完成下載或其他數據存儲節點接收指令后根據文件ID查找得到待下載文件并由該數據存儲節點的Web服務器完成下載。

作為另一種優選的實施方式，所述初始化分布式文件系統中數據存儲模塊的Web服務器和擴展模塊具體包括：

加載分布式文件系統的WEB服務器的配置文件，得到數據存儲模塊中的Web服務器的監聽端口、所存儲文件的路徑、擴展模塊信息；