[發明專利]一種數據下載系統及方法

有效

• 申請號: 201210007673.0
• 申請日: 2012-01-11
• 公開（公告）號: CN102571959A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 王力;王鋒
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京市德權律師事務所 11302
• 代理人: 劉麗君

技術領域

本發明涉及計算機技術領域，特別是涉及一種數據下載系統及方法。

背景技術

隨著信息技術的發展，人們日益習慣于通過網絡來獲取各種數據。例如，一種通常的方式就是通過數據下載系統來下載所需的內容。

目前使用較多的下載架構主要有兩種，一種是傳統的CDN(Content?Delivery?Network，內容分發網絡)多層緩存架構，另一種是一般的視頻網站使用較多的下載架構。

CDN多層緩存架構的示意圖如圖1所示，在這種架構中，全局數據僅存儲在頂層源站設備中，每個邊緣服務節點由Nginx做反向代理，將請求轉給后端的Squid，Squid接到用戶請求后回源站抓取數據提供服務，前端使用DNS方式進行負載均衡。這種架構通常適用于整體數據量不大，且熱點集中的下載業務。

視頻網站使用較多的下載架構如圖2所示，在這種架構中，全局建立若干分布式存儲集群，各集群間數據沒有冗余或冗余較低，使用基于HTTP(HyperText?Transfer?Protocol，超文本傳輸協議)的第七層負載均衡設備對全局的Nginx服務器進行負載均衡。這種架構通常適用于視頻下載業務，整體并發度較低，多為連續讀取。

但是現在一些場合(例如大型軟件、游戲等安裝程序下載等)中的下載服務通常有如下特點：存儲數據量大、文件數量大，且某部分業務用戶訪問熱點不集中等等。因此，迫切需要本領域技術人員解決的技術問題就在于，如何提供一種新的下載架構，能夠滿足上述要求。

發明內容

本發明提供了一種數據下載系統及方法，能夠滿足存儲數據量大、文件數量大，且某部分業務用戶訪問熱點不集中時的下載服務需求。

本發明提供了如下方案：

一種數據下載系統，包括多個下載集群，每個下載集群中包括Linux虛擬服務器LVS、至少兩個下載節點Nginx以及一個分布式文件系統HDFS，所述Nginx的操作系統通過用戶空間文件系統FUSE掛載HDFS的存儲服務；其中：

所述LVS用于接收用戶的下載請求，對各個Nginx進行調度選擇，將所述下載請求轉發給選中的Nginx；

所述Nginx用于在接收到LVS轉發的下載請求后，通過FUSE訪問HDFS中存儲的數據，響應用戶的下載請求；

所述HDFS用于存儲數據。

其中，所述LVS具體用于：接收到用戶的下載請求后，根據各個Nginx的性能和/或當前負載狀況對各個Nginx進行調度選擇，將所述下載請求發送給性能和/或當前負載狀態符合預置條件的Nginx。

其中，所述LVS為兩個。

其中，兩個LVS互為主備，每個LVS通過一個處于主模式的虛IP向用戶提供下載服務，同時存在一個處于備用模式的虛IP；當一個LVS無法提供服務時，另一個LVS通過啟動所述處于備用模式的虛IP來接管該LVS的下載服務。

其中，所述HDFS包括名字節點及至少兩個數據節點，所述名字節點與LVS復用一臺服務器，每個數據節點與一個Nginx復用一臺服務器。

其中，Nginx的數目與數據節點的數目相同。

一種數據下載方法，應用于一數據下載系統中，所述數據下載系統包括多個下載集群，每個下載集群中包括Linux虛擬服務器LVS、至少兩個下載節點Nginx以及一個分布式文件系統HDFS，所述HDFS用于存儲數據，所述Nginx的操作系統通過用戶空間文件系統FUSE掛載HDFS的存儲服務；所述方法包括：

通過所述LVS接收用戶的下載請求，并由所述LVS對各個Nginx進行調度選擇，將所述下載請求轉發給選中的Nginx；

Nginx在接收到LVS轉發的下載請求后，通過FUSE訪問HDFS中存儲的數據，響應用戶的下載請求。

其中，所述對各個Nginx進行調度選擇，將所述下載請求轉發給選中的Nginx包括：

根據各個Nginx的性能和/或當前負載狀況對各個Nginx進行調度選擇，將所述下載請求發送給性能和/或當前負載狀態符合預置條件的Nginx。

其中，所述LVS為兩個。

其中，兩個LVS互為主備，每個LVS通過一個處于主模式的虛IP向用戶提供下載服務，同時存在一個處于備用模式的虛IP；當一個LVS無法提供服務時，另一個LVS通過啟動所述處于備用模式的虛IP來接管該LVS的下載服務。