[發明專利]一種分布式存儲系統及其下載文件的方法

無效

• 申請號: 201310557040.1
• 申請日: 2013-11-11
• 公開（公告）號: CN103595782A
• 公開（公告）日: 2014-02-19
• 發明（設計）人: 鄭玨
• 申請（專利權）人: 中安消技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 廣東廣和律師事務所 44298
• 代理人: 章小燕

技術領域

本發明涉及云存儲系統，尤其涉及一種分布式存儲系統及其下載文件的方法。

背景技術

在分布式存儲中，海量的文件分布于不同的計算機上，備份多份的文件，

通常會被切割成固定的大小存放在不同的服務器上，傳統下載文件方式通常是實現一個客戶端（基于分布式存儲API或私有通信協議），先向元數據服務器查詢文件存放位置，然后依次連接數據服務器進行下載文件。那么如果客戶端系統平臺不同，比如：win、linux、mac、安卓等，則需要開發不同平臺上的客戶端。

使用HTTP（Hypertext?transfer?protocol，超文本傳送協議)方式從分布式存儲中下載文件可避免開發多個平臺的客戶端。中國專利CN201210559791.2公開了一種獲取云存儲文件的方法：用一臺服務器記錄所有文件的URL，客戶端先通過該服務器查詢某文件的URL，然后再通過查詢到的URL下載文件。這種方法存在以下缺陷：

（1）客戶端需要請求兩次URL，增加客戶端操作的復雜度。

（2）在分布式存儲領域中，文件可能備份有多份，而URL只能指向固定的某臺存放有該文件的服務器，當有多個客戶端想獲取同一個文件時，客戶端都向一臺服務器下載文件，只能利用1臺服務器的性能，從而造成負荷不均衡，無法發揮分布式存儲的優勢。

發明內容

有鑒于此，本發明要解決的技術問題是提供一種分布式存儲系統及其下載文件的方法，以使用一個通用的URL來獲取分布式存儲中的任意一個文件，且能合理分配客戶端請求，充分發揮分布式存儲優勢。

本發明解決上述技術問題所采用的技術方案如下：

根據本發明的一個方面，提供的一種分布式存儲系統，包括元數據服務器和至少一臺數據服務器，其中：

元數據服務器，用于接收客戶端請求下載文件的URL，根據URL中的文件ID查詢該文件的文件塊所在的數據服務器，選擇負荷較低的一臺文件塊所在數據服務器作為主文件下載服務器生成新URL，并將客戶端請求的URL重定向到新URL；

數據服務器，用于當作為主文件下載服務器時，從其他數據服務器獲取自身沒有的其他文件塊，并將該文件的文件塊按順序發送給客戶端。

優選地，元數據服務器進一步包括：

接收模塊，用于接收客戶端請求下載文件的URL；

查詢模塊，用于根據URL中的文件ID查詢文件所在的數據服務器；

重定向模塊，選擇負荷較低的一臺文件塊所在數據服務器作為主文件下載服務器生成新URL，并將客戶端請求的URL重定向到新URL。

優選地，元數據服務器還包括負荷監測模塊，用于實時監測所有數據服務器的下載任務和系統資源；相應地，重定向模塊具體用于：選擇負荷最低的一臺存儲該文件第一個文件塊的數據服務器為主文件下載服務器生成新URL，并將客戶端請求的URL重定向到新URL。

優選地，主文件下載服務器進一步包括：

文件位置獲取模塊，用于向元數據服務器獲取該文件中自身沒有的其他文件塊的存放位置；

文塊獲取模塊，連接其他文件塊所在的數據服務器，通過分布式存儲API下載其他文件塊；

發送模塊，用于將該文件的文件塊按順序通過HTTP協議將文件傳輸給客戶端。

優選地，主文件下載服務器還包括文件塊刪除模塊，用于發送完文件塊后，當超過預定的刪除時間未收到該文件的下載請求時，刪除該文件中從其他數據服務器下載的文件塊。

優選地，該系統還包括客戶端，用于向元數據服務器發送請求下載文件的URL，以及接收所述主文件下載服務器發送的文件。

根據本發明的另一個方面，提供的一種分布式存儲系統的文件下載方法包括：

元數據服務器接收客戶端請求下載文件的URL，其中URL包括文件ID；

通過文件ID查詢該文件的文件塊所在的數據服務器，選擇負荷較低的一臺文件塊所在數據服務器作為主文件下載服務器生成新URL；

將客戶端請求的URL重定向到新URL；

主文件下載服務器從其他數據服務器下載自身沒有的其他文件塊，并將該文件的文件塊按順序發送給客戶端。

優選地，選擇負荷較低的一臺文件塊所在數據服務器作為主文件下載服務器進一步包括：

獲取存放該文件的文件塊所在的所有數據服務器；

獲取所有數據服務器的下載任務及系統資源；

選擇負荷最低一臺數據服務器為主文件下載服務器。