[發(fā)明專利]一種輕量級(jí)的大數(shù)據(jù)智能采集方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810754010.2
• 申請(qǐng)日: 2018-07-11
• 公開(kāi)（公告）號(hào): CN108958957B
• 公開(kāi)（公告）日: 2020-03-27
• 發(fā)明（設(shè)計(jì)）人: 于富東;匙凱;楊林
• 申請(qǐng)（專利權(quán)）人: 吉林吉大通信設(shè)計(jì)院股份有限公司
• 主分類(lèi)號(hào): G06F9/54
• 分類(lèi)號(hào): G06F9/54
• 代理公司: 長(zhǎng)春市吉利專利事務(wù)所 22206
• 代理人: 李曉莉

一種輕量級(jí)的大數(shù)據(jù)智能采集方法，屬于提升數(shù)據(jù)采集性能技術(shù)領(lǐng)域，本發(fā)明引入動(dòng)態(tài)可調(diào)整的“批量+超時(shí)”傳輸策略，通過(guò)將采集的數(shù)據(jù)批次進(jìn)行傳輸，該批次策略通過(guò)條數(shù)和時(shí)間兩個(gè)維度進(jìn)行控制，保證了超大規(guī)模下采集客戶端與緩沖隊(duì)列之間不會(huì)過(guò)于頻繁的建立連接通道，保證了數(shù)據(jù)不會(huì)丟失，同時(shí)減輕被采集側(cè)生產(chǎn)系統(tǒng)壓力；并且上述的條數(shù)和時(shí)間兩個(gè)維度的值會(huì)受到外部調(diào)度模塊的定期調(diào)整，保證到達(dá)緩沖隊(duì)列的請(qǐng)求分布均勻，整體提高系統(tǒng)穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明屬于提升數(shù)據(jù)采集性能技術(shù)領(lǐng)域，特別是涉及到一種輕量級(jí)的大數(shù)據(jù)智能采集方法。

背景技術(shù)

針對(duì)大數(shù)據(jù)情況下的數(shù)據(jù)采集，源于不同技術(shù)和架構(gòu)的采集方法之間的差異，會(huì)引起采集系統(tǒng)穩(wěn)定性或占用資源量的巨大差異，所以選擇一種好的采集方法十分重要。目前，對(duì)大數(shù)據(jù)情況下的數(shù)據(jù)采集方法主要為以下兩種：

（1）采集客戶端à存儲(chǔ)器

在每個(gè)數(shù)據(jù)源安裝采集客戶端，采集客戶端將需要采集的數(shù)據(jù)收集起來(lái)，傳遞給存儲(chǔ)器。

（2）采集客戶端à緩沖隊(duì)列à存儲(chǔ)器

在（1）技術(shù)的基礎(chǔ)上，在采集客戶端和存儲(chǔ)器之間添加了“緩沖隊(duì)列”模塊。

現(xiàn)有技術(shù)（1）中，采集客戶端將數(shù)據(jù)采集完成之后，直接發(fā)送給存儲(chǔ)器，那么當(dāng)數(shù)據(jù)規(guī)模較大的情況下，可能存儲(chǔ)器并不能完全有能力承載采集客戶端的存儲(chǔ)請(qǐng)求，會(huì)發(fā)生請(qǐng)求消息阻塞，此時(shí)就會(huì)造成采集客戶端發(fā)生錯(cuò)誤，造成數(shù)據(jù)丟失，故技術(shù)（1）存在在大規(guī)模數(shù)據(jù)下，系統(tǒng)無(wú)緩沖功能帶來(lái)的傳輸阻塞和數(shù)據(jù)丟失的缺陷；

針對(duì)現(xiàn)有技術(shù)（1）的基礎(chǔ)上，引入了緩沖隊(duì)列的概念，該模塊實(shí)現(xiàn)了采集客戶端和存儲(chǔ)器之間的管道性的緩沖連接，即使存儲(chǔ)器無(wú)法實(shí)時(shí)消費(fèi)采集客戶端傳到的數(shù)據(jù)，那么后續(xù)數(shù)據(jù)也會(huì)被暫存在緩存隊(duì)列中，待存儲(chǔ)器壓力降到正常值時(shí)，就會(huì)從緩沖隊(duì)列內(nèi)讀取之前積壓的數(shù)據(jù)，從整體上保證了系統(tǒng)采集的數(shù)據(jù)不丟失。

但是，當(dāng)今軟件應(yīng)用系統(tǒng)體量均為大數(shù)據(jù)級(jí)別，現(xiàn)有技術(shù)（1）和（2）中仍存在一些問(wèn)題，包括：

每次數(shù)據(jù)傳輸都會(huì)在采集客戶端和存儲(chǔ)之間建立一次連接通道，數(shù)據(jù)量大時(shí)候，即使采用緩沖隊(duì)列，也無(wú)法承載采集客戶端采集的超大規(guī)模數(shù)據(jù)傳輸請(qǐng)求在采集客戶端和緩沖隊(duì)列之間建立的海量連接通道，也會(huì)導(dǎo)致緩沖隊(duì)列崩塌，數(shù)據(jù)大量丟失，同時(shí)頻繁的建立連接請(qǐng)求也會(huì)對(duì)被采集的數(shù)據(jù)源造成巨大的大力，影響生產(chǎn)；

另外，緩沖隊(duì)列會(huì)接收來(lái)自于大量的采集客戶端的連接請(qǐng)求，大量的連接請(qǐng)求可能在近乎同一時(shí)間到達(dá)緩沖隊(duì)列，此時(shí)緩沖隊(duì)列的壓力較大而造成系統(tǒng)崩塌；大量的連接請(qǐng)求也可能以比較分散的時(shí)間到達(dá)緩沖隊(duì)列，此時(shí)緩沖隊(duì)列壓力則較小。不均衡的請(qǐng)求到達(dá)分布將極不利于系統(tǒng)整體穩(wěn)定性。

所以技術(shù)（2）存在“超大規(guī)模下海量連接引起緩沖隊(duì)列壓力過(guò)載、占用被采集側(cè)生產(chǎn)系統(tǒng)資源過(guò)高，造成生產(chǎn)系統(tǒng)崩塌風(fēng)險(xiǎn)和采集數(shù)據(jù)的丟失”的缺陷；同時(shí)存在“采集客戶端到達(dá)緩沖隊(duì)列的時(shí)間請(qǐng)求分布上的巨大偏差，導(dǎo)致系統(tǒng)整體穩(wěn)定性差”的缺陷。

因此現(xiàn)有技術(shù)當(dāng)中亟需要一種新型的技術(shù)方案來(lái)解決這一問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是：提供一種輕量級(jí)的大數(shù)據(jù)智能采集方法，可以在超大規(guī)模海量連接情況下，保證數(shù)據(jù)不丟失，以及保證到達(dá)緩沖隊(duì)列的請(qǐng)求分布均勻，整體提高系統(tǒng)穩(wěn)定性。

一種輕量級(jí)的大數(shù)據(jù)智能采集方法，其特征是：包括以下步驟，

步驟一、建立數(shù)據(jù)存儲(chǔ)的前置模塊，內(nèi)部包括批次控制器和修正控制器；建立數(shù)據(jù)存儲(chǔ)的調(diào)度模塊，包括刷新定時(shí)器和參數(shù)調(diào)節(jié)器，其中參數(shù)調(diào)節(jié)器包括配制池大小Pool_size調(diào)節(jié)器和延遲時(shí)間timeout調(diào)節(jié)器；