[發(fā)明專利]大數(shù)據(jù)采集方法、裝置以及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201510869746.0
• 申請(qǐng)日: 2015-12-02
• 公開（公告）號(hào): CN106817314B
• 公開（公告）日: 2020-03-20
• 發(fā)明（設(shè)計(jì)）人: 趙勇
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電信股份有限公司
• 主分類號(hào): H04L12/801
• 分類號(hào): H04L12/801;H04L12/803
• 代理公司: 中國(guó)國(guó)際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所 11038
• 代理人: 方亮

本發(fā)明公開一種大數(shù)據(jù)采集方法、裝置以及系統(tǒng)，涉及移動(dòng)通信領(lǐng)域，其中該方法包括：接收待上傳數(shù)據(jù)的采集客戶端發(fā)送的連接請(qǐng)求；根據(jù)采集服務(wù)器的當(dāng)前網(wǎng)絡(luò)情況基于啟發(fā)式算法計(jì)算所述采集客戶端的延時(shí)連接時(shí)間；將所述延時(shí)連接時(shí)間返回給采集客戶端，以便所述采集客戶端經(jīng)過所述延時(shí)連接時(shí)間后向采集服務(wù)器上傳數(shù)據(jù)。本發(fā)明提供的方法、裝置以及系統(tǒng)，在一定程度上解決了網(wǎng)絡(luò)數(shù)據(jù)采集過程中出現(xiàn)的瞬時(shí)數(shù)據(jù)量過大的情況，在負(fù)載均衡技術(shù)的基礎(chǔ)上，引入了時(shí)間參數(shù)，并通過元啟發(fā)式算法較好的協(xié)調(diào)了兩個(gè)維度的關(guān)系，使流量較為均衡地分布在各個(gè)時(shí)間段，最大限度地利用了現(xiàn)有資源。

技術(shù)領(lǐng)域

本發(fā)明涉及移動(dòng)通信領(lǐng)域，尤其涉及一種大數(shù)據(jù)采集方法、裝置以及系統(tǒng)。

背景技術(shù)

為捕捉用戶的使用行為信息，進(jìn)行有效分析，用準(zhǔn)確量化的數(shù)據(jù)作為產(chǎn)品創(chuàng)新及優(yōu)化，中國(guó)電信開發(fā)了基地業(yè)務(wù)量化分析系統(tǒng)，該系統(tǒng)基于客戶端外掛程序的方式來進(jìn)行用戶數(shù)據(jù)采集，由于目前該系統(tǒng)的采集樣本量已經(jīng)突破1億，每日上報(bào)數(shù)據(jù)超過30G，即使已經(jīng)采用了軟硬件負(fù)載均衡技術(shù)，但是依然會(huì)出現(xiàn)在一些時(shí)間負(fù)載很低，但在另一些瞬間會(huì)出現(xiàn)網(wǎng)絡(luò)堵塞的情況。

因此，有必要提出一種在大數(shù)據(jù)采集的時(shí)候可自行調(diào)整參數(shù)的大數(shù)據(jù)采集裝置和實(shí)現(xiàn)方法。

發(fā)明內(nèi)容

本公開要解決的一個(gè)技術(shù)問題是如何提供一種可自行調(diào)整參數(shù)的大數(shù)據(jù)采集裝置和實(shí)現(xiàn)方法。

本公開提供一種大數(shù)據(jù)采集方法，包括：接收待上傳數(shù)據(jù)的采集客戶端發(fā)送的連接請(qǐng)求；根據(jù)采集服務(wù)器的當(dāng)前網(wǎng)絡(luò)情況基于啟發(fā)式算法計(jì)算所述采集客戶端的延時(shí)連接時(shí)間；將所述延時(shí)連接時(shí)間返回給采集客戶端，以便所述采集客戶端經(jīng)過所述延時(shí)連接時(shí)間后向采集服務(wù)器上傳數(shù)據(jù)。

進(jìn)一步地，所述采集服務(wù)器的當(dāng)前網(wǎng)絡(luò)情況包括網(wǎng)絡(luò)流量負(fù)載情況和帶寬情況。

進(jìn)一步地，所述根據(jù)采集服務(wù)器的當(dāng)前網(wǎng)絡(luò)情況基于啟發(fā)式算法計(jì)算所述采集客戶端的延時(shí)連接時(shí)間包括：隨機(jī)初始化時(shí)間T₀；根據(jù)當(dāng)前的網(wǎng)絡(luò)流量負(fù)載的分布，選擇時(shí)間T_t；比較采用當(dāng)前時(shí)間T₀的流量峰值與平均值之差、時(shí)間T_t時(shí)的流量峰值與平均值之差；如果流量峰值與平均值之差不小于當(dāng)前時(shí)間T₀時(shí)的情況，則計(jì)算更新時(shí)間，其中，更新時(shí)間的計(jì)算公式為S_new＝S_cur+sqrt(T_t)*randn，其中所述S_cur為當(dāng)前請(qǐng)求上傳時(shí)間，S_new為更新上傳時(shí)間，randn為高斯隨機(jī)數(shù)；將所述更新時(shí)間作為延時(shí)連接時(shí)間發(fā)送給采集客戶端。

進(jìn)一步地，如果采用時(shí)間T_t時(shí)，流量峰值與平均值之差小于時(shí)間T₀時(shí)的流量峰值與平均值之差，則將T_t更新T₀，并重新根據(jù)當(dāng)前的網(wǎng)絡(luò)流量負(fù)載的分布，選擇一個(gè)新的時(shí)間T_t。

進(jìn)一步地，判斷當(dāng)前循環(huán)次數(shù)，如果當(dāng)前循環(huán)次數(shù)不大于第一設(shè)定閾值時(shí)，如果采用時(shí)間段T_t時(shí)流量峰值與平均值之差沒有小于時(shí)間段T₀的流量峰值與平均值之差的情況，計(jì)算接受概率P，其中P＝1/(1+exp(Δ/T_t))，其中Δ為時(shí)間段T₀、時(shí)間段T_t時(shí)流量峰值與平均值之差的差值；如果所述接受概率不小于第二設(shè)定閾值，計(jì)算更新時(shí)間并將所述更新時(shí)間作為延時(shí)連接時(shí)間發(fā)送給采集客戶端。

進(jìn)一步地，如果當(dāng)前循環(huán)次數(shù)大于第一設(shè)定閾值且未得到接受概率小于第二設(shè)定閾值的時(shí)間，則退出當(dāng)前的循環(huán)計(jì)算延時(shí)連接時(shí)間的過程并確定未得到延時(shí)連接時(shí)間；向采集客戶端返回?cái)?shù)據(jù)上傳響應(yīng)以便所述采集客戶端向服務(wù)器上傳數(shù)據(jù)。