[發明專利]大數據采集方法、裝置以及系統

有效

• 申請號: 201510869746.0
• 申請日: 2015-12-02
• 公開（公告）號: CN106817314B
• 公開（公告）日: 2020-03-20
• 發明（設計）人: 趙勇
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: H04L12/801
• 分類號: H04L12/801;H04L12/803
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 方亮

1.一種大數據采集方法，其特征在于，包括：

接收待上傳數據的采集客戶端發送的連接請求；

根據采集服務器的當前網絡情況基于啟發式算法計算所述采集客戶端的延時連接時間；

將所述延時連接時間返回給采集客戶端，以便所述采集客戶端經過所述延時連接時間后向采集服務器上傳數據；

所述根據采集服務器的當前網絡情況基于啟發式算法計算所述采集客戶端的延時連接時間包括：

隨機初始化時間段T₀；

根據當前的網絡流量負載的分布，選擇時間段T_t；

比較采用當前時間段T₀的流量峰值與平均值之差、時間段T_t時的流量峰值與平均值之差；

如果時間段T_t時的流量峰值與平均值之差不小于當前時間段T₀時的情況，則計算更新時間，其中，更新時間的計算公式為S_new＝S_cur+sqrt(T_t)*randn，其中所述S_cur為當前請求上傳時間，S_new為更新上傳時間，randn為高斯隨機數；

將所述更新時間作為延時連接時間發送給采集客戶端。

2.根據權利要求1所述的方法，其特征在于，所述采集服務器的當前網絡情況包括網絡流量負載情況和帶寬情況。

3.根據權利要求1所述的方法，其特征在于，還包括：

如果采用時間段T_t時，流量峰值與平均值之差小于時間段T₀時的流量峰值與平均值之差，則使用T_t更新T₀，并重新根據當前的網絡流量負載的分布，選擇一個新的時間段T_t。

4.根據權利要求1所述的方法，其特征在于，還包括：

判斷當前循環次數，如果當前循環次數不大于第一設定閾值時，如果采用時間段T_t時流量峰值與平均值之差沒有小于時間段T₀的流量峰值與平均值之差的情況，計算接受概率P，其中P＝1/(1+exp(Δ/T_t))，其中Δ為時間段T₀、時間段T_t時流量峰值與平均值之差的差值；

如果所述接受概率不小于第二設定閾值，計算更新時間并將所述更新時間作為延時連接時間發送給采集客戶端。

5.根據權利要求4所述的方法，其特征在于，

如果當前循環次數大于第一設定閾值且未得到接受概率小于第二設定閾值的時間，則退出當前的循環計算延時連接時間的過程并確定未得到延時連接時間；

向采集客戶端返回數據上傳響應以便所述采集客戶端向服務器上傳數據。