[發(fā)明專利]離線下載的系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201210024477.4
• 申請日: 2012-02-03
• 公開（公告）號: CN103248636B
• 公開（公告）日: 2018-06-15
• 發(fā)明（設(shè)計）人: 劉剛;莊慶
• 申請（專利權(quán)）人: 深圳市騰訊計算機系統(tǒng)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 廣州華進聯(lián)合專利商標代理有限公司 44224
• 代理人: 何平;曾旻輝

1.一種離線下載的系統(tǒng)，其特征在于，包括：

下載服務(wù)器集群，所述下載服務(wù)器集群包括兩個以上下載服務(wù)器，所述下載服務(wù)器根據(jù)其負載反饋負載信息及根據(jù)離線任務(wù)從互聯(lián)網(wǎng)中獲取數(shù)據(jù)信息；

分發(fā)服務(wù)器，獲得所述離線任務(wù)，所述分發(fā)服務(wù)器與所述下載服務(wù)器集群通信，接收所述負載信息并根據(jù)所述負載信息生成調(diào)度規(guī)則，所述分發(fā)服務(wù)器根據(jù)所述調(diào)度規(guī)則將所述離線任務(wù)分發(fā)給所述下載服務(wù)器；及

存儲服務(wù)器，與所述下載服務(wù)器集群通信連接，用于存儲所述下載服務(wù)器集群獲得的所述數(shù)據(jù)信息，并提供所述數(shù)據(jù)信息的下載；

所述調(diào)度規(guī)則包括：基于Hash號段，按照下載服務(wù)器的能力比率進行調(diào)度，在下載服務(wù)器的分配比率設(shè)置為0時，不再調(diào)度任務(wù)到該下載服務(wù)器進行下載；

所述分發(fā)服務(wù)器包括：

過濾模塊，將所述離線任務(wù)與已經(jīng)存在的離線任務(wù)進行比較，將已經(jīng)存在的所述離線任務(wù)過濾，同一個離線任務(wù)只向下載服務(wù)器集群發(fā)送一次離線任務(wù)下載請求，同一個離線任務(wù)只發(fā)送給一個下載服務(wù)器；

負載調(diào)度模塊，接收所述負載信息，并根據(jù)所述負載信息生成調(diào)度規(guī)則，所述負載調(diào)度模塊維護包含所述下載服務(wù)器的信息的鏈表及所述調(diào)度規(guī)則；及任務(wù)分發(fā)模塊，根據(jù)所述調(diào)度規(guī)則及所述鏈表中的信息，將所述離線任務(wù)分發(fā)給所述下載服務(wù)器；

所述負載調(diào)度模塊管理下載服務(wù)器的心跳、注銷及接收下載服務(wù)器的負載信息，接收到心跳包時，查詢是否有下載服務(wù)器信息，若沒有則新插入一個下載服務(wù)器信息，并比較新的負載信息是否與原來的負載信息不同，若不同則置標記，并使用雙緩沖區(qū)的實現(xiàn)方式把下載服務(wù)器的信息傳給任務(wù)分發(fā)模塊，當(dāng)負載調(diào)度模塊把數(shù)據(jù)寫入第一塊緩沖區(qū)時，任務(wù)分發(fā)模塊讀第二塊緩沖區(qū)的數(shù)據(jù)，當(dāng)負載調(diào)度模塊寫完后，任務(wù)分發(fā)模塊開始讀第一塊緩沖區(qū)的數(shù)據(jù)，負載調(diào)度模塊轉(zhuǎn)而把數(shù)據(jù)寫入第二塊緩沖區(qū)；

所述負載調(diào)度模塊在更新時，將下載服務(wù)器信息集合中所有數(shù)據(jù)寫入緩沖區(qū)中，并在緩沖區(qū)中置標記來通知任務(wù)分發(fā)模塊讀取數(shù)據(jù)，所述更新的時機包括：下載服務(wù)器的負載信息出現(xiàn)過載信息、下載服務(wù)器注銷、以及清理完心跳包超時的下載服務(wù)器后進行檢查的檢查結(jié)果需要更新。

2.如權(quán)利要求1所述的離線下載的系統(tǒng)，其特征在于，還包括：

離線任務(wù)數(shù)據(jù)庫，存儲所述離線任務(wù)的原始連接，所述下載服務(wù)器集群與所述離線任務(wù)數(shù)據(jù)庫通信連接，并從所述離線任務(wù)數(shù)據(jù)庫獲取所述離線任務(wù)的原始鏈接，所述下載服務(wù)器集群將與下載完成的離線任務(wù)對應(yīng)的數(shù)據(jù)信息的入口地址寫入所述離線任務(wù)數(shù)據(jù)庫，并生成映射記錄；及

離線任務(wù)管理器，與所述離線任務(wù)數(shù)據(jù)庫及所述分發(fā)服務(wù)器通信連接，所述離線任務(wù)管理器通過所述映射記錄判斷所述離線任務(wù)是否下載完成，若是，則直接提供所述數(shù)據(jù)信息，否則，為所述離線任務(wù)生成唯一編號，且將其原始鏈接連同所述編號寫入所述離線任務(wù)數(shù)據(jù)庫，并將所述離線任務(wù)提交給所述分發(fā)服務(wù)器。

3.如權(quán)利要求1所述的離線下載的系統(tǒng)，其特征在于，所述下載服務(wù)器根據(jù)下載協(xié)議分為相應(yīng)類型，所述分發(fā)服務(wù)器包括任務(wù)分類模塊，所述任務(wù)分類模塊將所述離線任務(wù)根據(jù)下載協(xié)議分發(fā)給對應(yīng)類型的所述下載服務(wù)器。

4.如權(quán)利要求1所述的離線下載的系統(tǒng)，其特征在于，所述負載信息包括CPU負載、磁盤負載、內(nèi)存負載、并行隊列長度及等待隊列長度，所述調(diào)度規(guī)則為與所述下載服務(wù)器的實時負載成反比例分配所述離線任務(wù)，所述實時負載如下式：

F＝a*CPU負載+b*磁盤負載+c*內(nèi)存負載+d*并行隊列長度+e*等待隊列長度

其中，a、b、c、d、e為0-1之間的權(quán)重參數(shù)，F(xiàn)表示所述實時負載。

5.如權(quán)利要求1所述的離線下載的系統(tǒng)，其特征在于，還包括統(tǒng)計服務(wù)器，所述統(tǒng)計服務(wù)器獲得下載所述離線任務(wù)的下載參數(shù)，并根據(jù)所述下載參數(shù)生成流水日志。