[發(fā)明專利]數(shù)據(jù)采集系統(tǒng)、方法、節(jié)點(diǎn)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810515496.4
• 申請(qǐng)日: 2018-05-25
• 公開(kāi)（公告）號(hào): CN110597890B
• 公開(kāi)（公告）日: 2022-04-05
• 發(fā)明（設(shè)計(jì)）人: 郭峰
• 申請(qǐng)（專利權(quán)）人: 杭州?？低晹?shù)字技術(shù)股份有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 韓東艷

本發(fā)明公開(kāi)了一種數(shù)據(jù)采集系統(tǒng)、方法、節(jié)點(diǎn)設(shè)備及存儲(chǔ)介質(zhì)，屬于大數(shù)據(jù)技術(shù)領(lǐng)域。數(shù)據(jù)采集系統(tǒng)包括多個(gè)數(shù)據(jù)處理模塊；數(shù)據(jù)采集系統(tǒng)中第一個(gè)數(shù)據(jù)處理模塊用于當(dāng)獲取到數(shù)據(jù)源的任一批數(shù)據(jù)時(shí)，指示數(shù)據(jù)源提供下一批數(shù)據(jù)；數(shù)據(jù)采集系統(tǒng)中任一個(gè)數(shù)據(jù)處理模塊用于對(duì)已接收到的任一批數(shù)據(jù)執(zhí)行對(duì)應(yīng)的數(shù)據(jù)處理操作時(shí)，接收下一批數(shù)據(jù)；數(shù)據(jù)采集系統(tǒng)中最后一個(gè)數(shù)據(jù)處理模塊用于將處理后的數(shù)據(jù)存儲(chǔ)至第一存儲(chǔ)源中。本發(fā)明設(shè)計(jì)了全異步式的系統(tǒng)架構(gòu)，保證數(shù)據(jù)采集系統(tǒng)可以同時(shí)針對(duì)多批數(shù)據(jù)進(jìn)行處理，避免數(shù)據(jù)處理模塊要等待其他數(shù)據(jù)處理模塊執(zhí)行數(shù)據(jù)處理操作完成后才能開(kāi)始處理數(shù)據(jù)的情況，提高了數(shù)據(jù)采集的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)采集系統(tǒng)、方法、節(jié)點(diǎn)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)的發(fā)展以及網(wǎng)絡(luò)中海量數(shù)據(jù)的飛速增長(zhǎng)，數(shù)據(jù)采集的挑戰(zhàn)變得尤為突出。數(shù)據(jù)采集是指對(duì)數(shù)據(jù)源中的數(shù)據(jù)經(jīng)過(guò)一系列的處理操作，最終將處理操作后的數(shù)據(jù)存儲(chǔ)至存儲(chǔ)源的過(guò)程。通過(guò)進(jìn)行數(shù)據(jù)采集，可以幫助人們管理、分析和挖掘數(shù)據(jù)，具有巨大的經(jīng)濟(jì)和應(yīng)用價(jià)值。

目前數(shù)據(jù)采集系統(tǒng)通常采用單機(jī)多線程的架構(gòu)，基于同步方式進(jìn)行數(shù)據(jù)采集：數(shù)據(jù)采集系統(tǒng)包括多個(gè)線程，每個(gè)線程用于執(zhí)行一種數(shù)據(jù)處理操作，在數(shù)據(jù)采集的過(guò)程中，當(dāng)數(shù)據(jù)源提供了一批數(shù)據(jù)時(shí)，第一個(gè)線程從數(shù)據(jù)源拉取這批數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行處理后，將處理后的數(shù)據(jù)發(fā)送給第二個(gè)線程，第二個(gè)線程接收第一個(gè)線程的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行處理后，將處理后的數(shù)據(jù)發(fā)送給第三個(gè)線程，依次類推，最后一個(gè)線程接收數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行處理后，會(huì)將處理后的數(shù)據(jù)存儲(chǔ)至存儲(chǔ)源中。之后，最后一個(gè)線程會(huì)通知數(shù)據(jù)源其提供的這批數(shù)據(jù)已經(jīng)成功存儲(chǔ)入庫(kù)，數(shù)據(jù)源得到通知后，會(huì)提供下一批數(shù)據(jù)，則第一個(gè)線程會(huì)繼續(xù)會(huì)從數(shù)據(jù)源拉取下一批數(shù)據(jù)，依次類推。

在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)至少存在以下問(wèn)題：

任一時(shí)刻整個(gè)數(shù)據(jù)采集系統(tǒng)只能針對(duì)一批數(shù)據(jù)進(jìn)行處理，每個(gè)線程均要等待其他線程處理這批數(shù)據(jù)完畢后才能開(kāi)始接收并處理下一批數(shù)據(jù)，數(shù)據(jù)采集的效率極低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)采集系統(tǒng)、方法、節(jié)點(diǎn)設(shè)備及存儲(chǔ)介質(zhì)，可以解決相關(guān)技術(shù)中數(shù)據(jù)采集的效率極低的問(wèn)題。所述技術(shù)方案如下：

一方面，提供了一種數(shù)據(jù)采集系統(tǒng)，所述數(shù)據(jù)采集系統(tǒng)包括多個(gè)數(shù)據(jù)處理模塊；

所述數(shù)據(jù)采集系統(tǒng)中第一個(gè)數(shù)據(jù)處理模塊用于當(dāng)獲取到數(shù)據(jù)源的任一批數(shù)據(jù)時(shí)，指示所述數(shù)據(jù)源提供下一批數(shù)據(jù)；

所述數(shù)據(jù)采集系統(tǒng)中任一個(gè)數(shù)據(jù)處理模塊用于對(duì)已接收到的任一批數(shù)據(jù)執(zhí)行對(duì)應(yīng)的數(shù)據(jù)處理操作時(shí)，接收下一批數(shù)據(jù)；

所述數(shù)據(jù)采集系統(tǒng)中最后一個(gè)數(shù)據(jù)處理模塊用于將處理后的數(shù)據(jù)存儲(chǔ)至第一存儲(chǔ)源中。

在一種可能的設(shè)計(jì)中，所述數(shù)據(jù)采集系統(tǒng)中任一個(gè)數(shù)據(jù)處理模塊具有對(duì)應(yīng)的內(nèi)存空間，所述內(nèi)存空間用于緩存已接收到的數(shù)據(jù)；

所述數(shù)據(jù)采集系統(tǒng)中任一個(gè)數(shù)據(jù)處理模塊還用于對(duì)已接收到的任一批數(shù)據(jù)執(zhí)行對(duì)應(yīng)的數(shù)據(jù)處理操作時(shí)，將接收到的下一批數(shù)據(jù)緩存至所述任一個(gè)數(shù)據(jù)處理模塊的內(nèi)存空間中，當(dāng)處理所述任一批數(shù)據(jù)完成后，從所述內(nèi)存空間中讀取所述下一批數(shù)據(jù)。

在一種可能的設(shè)計(jì)中，所述數(shù)據(jù)采集系統(tǒng)還包括至少一個(gè)共享內(nèi)存池，每個(gè)共享內(nèi)存池用于為對(duì)應(yīng)的多個(gè)數(shù)據(jù)處理模塊提供內(nèi)存空間。

在一種可能的設(shè)計(jì)中，所述任一個(gè)數(shù)據(jù)處理模塊還用于從對(duì)應(yīng)的共享內(nèi)存池中申請(qǐng)內(nèi)存空間，當(dāng)申請(qǐng)得到的內(nèi)存空間使用完畢后，將所述申請(qǐng)得到的內(nèi)存空間釋放回所述共享內(nèi)存池中。

在一種可能的設(shè)計(jì)中，所述數(shù)據(jù)采集系統(tǒng)中任一個(gè)數(shù)據(jù)處理模塊的內(nèi)存空間包括堆內(nèi)內(nèi)存；

所述任一個(gè)數(shù)據(jù)處理模塊還用于將處理后的數(shù)據(jù)推送至下一個(gè)數(shù)據(jù)處理模塊的堆內(nèi)內(nèi)存中。