[發明專利]一種數據下載系統及方法

有效

• 申請號: 201210007673.0
• 申請日: 2012-01-11
• 公開（公告）號: CN102571959A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 王力;王鋒
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京市德權律師事務所 11302
• 代理人: 劉麗君

1.一種數據下載系統，其特征在于，包括多個下載集群，每個下載集群中包括Linux虛擬服務器LVS、至少兩個下載節點Nginx以及一個分布式文件系統HDFS，所述Nginx的操作系統通過用戶空間文件系統FUSE掛載HDFS的存儲服務；其中：

所述LVS用于接收用戶的下載請求，對各個Nginx進行調度選擇，將所述下載請求轉發給選中的Nginx；

所述Nginx用于在接收到LVS轉發的下載請求后，通過FUSE訪問HDFS中存儲的數據，響應用戶的下載請求；

所述HDFS用于存儲數據。

2.根據權利要求1所述的系統，其特征在于，所述LVS具體用于：接收到用戶的下載請求后，根據各個Nginx的性能和/或當前負載狀況對各個Nginx進行調度選擇，將所述下載請求發送給性能和/或當前負載狀態符合預置條件的Nginx。

3.根據權利要求1所述的系統，其特征在于，所述LVS為兩個。

4.根據權利要求3所述的系統，其特征在于，兩個LVS互為主備，每個LVS通過一個處于主模式的虛IP向用戶提供下載服務，同時存在一個處于備用模式的虛IP；當一個LVS無法提供服務時，另一個LVS通過啟動所述處于備用模式的虛IP來接管該LVS的下載服務。

5.根據權利要求1所述的系統，其特征在于，所述HDFS包括名字節點及至少兩個數據節點，所述名字節點與LVS復用一臺服務器，每個數據節點與一個Nginx復用一臺服務器。

6.根據權利要求5所述的系統，其特征在于，Nginx的數目與數據節點的數目相同。

7.一種數據下載方法，應用于一數據下載系統中，其特征在于，所述數據下載系統包括多個下載集群，每個下載集群中包括Linux虛擬服務器LVS、至少兩個下載節點Nginx以及一個分布式文件系統HDFS，所述HDFS用于存儲數據，所述Nginx的操作系統通過用戶空間文件系統FUSE掛載HDFS的存儲服務；所述方法包括：

通過所述LVS接收用戶的下載請求，并由所述LVS對各個Nginx進行調度選擇，將所述下載請求轉發給選中的Nginx；

Nginx在接收到LVS轉發的下載請求后，通過FUSE訪問HDFS中存儲的數據，響應用戶的下載請求。

8.根據權利要求7所述的方法，其特征在于，所述對各個Nginx進行調度選擇，將所述下載請求轉發給選中的Nginx包括：

根據各個Nginx的性能和/或當前負載狀況對各個Nginx進行調度選擇，將所述下載請求發送給性能和/或當前負載狀態符合預置條件的Nginx。

9.根據權利要求7所述的方法，其特征在于，所述LVS為兩個。

10.根據權利要求9所述的方法，其特征在于，兩個LVS互為主備，每個LVS通過一個處于主模式的虛IP向用戶提供下載服務，同時存在一個處于備用模式的虛IP；當一個LVS無法提供服務時，另一個LVS通過啟動所述處于備用模式的虛IP來接管該LVS的下載服務。

11.根據權利要求7所述的方法，其特征在于，所述HDFS包括名字節點及至少兩個數據節點，所述名字節點與LVS復用一臺服務器，每個數據節點與一個Nginx復用一臺服務器。

12.根據權利要求11所述的方法，其特征在于，Nginx的數目與數據節點的數目相同。

13.根據權利要求7所述的方法，其特征在于，還包括：

對Nginx的參數進行調整，所調整的參數包括Sendfile選項、worker進程數、單進程最大連接數、backlog參數、output-buffers中的一個或多個。

14.根據權利要求7所述的方法，其特征在于，還包括：

對HDFS參數進行調整，所調整的參數包括read函數的參數數目、IPCserver?listen隊列長度、IPC?Server工作線程數、數據傳輸最大線程數中的一個或多個。