[發(fā)明專利]數(shù)據(jù)采集方法、裝置、計算機設(shè)備及計算機可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911146802.2
• 申請日: 2019-11-21
• 公開（公告）號: CN111104233B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計）人: 孫朝和;申志彬;李如先
• 申請（專利權(quán)）人: 深圳前海環(huán)融聯(lián)易信息科技服務(wù)有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/25;G06F16/18
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 李翔宇

本發(fā)明實施例提供了一種數(shù)據(jù)采集方法、裝置、計算機設(shè)備及計算機可讀存儲介質(zhì)。屬于數(shù)據(jù)采集技術(shù)領(lǐng)域，通過獲取外部數(shù)據(jù)源的數(shù)據(jù)，將數(shù)據(jù)存入內(nèi)存中，判斷數(shù)據(jù)接收方所對應(yīng)的目標系統(tǒng)是否滿足預(yù)設(shè)存活條件，若滿足預(yù)設(shè)存活條件，將數(shù)據(jù)轉(zhuǎn)發(fā)至目標系統(tǒng)，若不滿足預(yù)設(shè)存活條件，將數(shù)據(jù)轉(zhuǎn)發(fā)至預(yù)設(shè)存儲器進行暫存，待后續(xù)目標系統(tǒng)可用時，將數(shù)據(jù)進行轉(zhuǎn)發(fā)，以實現(xiàn)數(shù)據(jù)采集。通過在判斷目標系統(tǒng)不可用時，將數(shù)據(jù)轉(zhuǎn)發(fā)至預(yù)設(shè)存儲器進行暫存，待后續(xù)目標系統(tǒng)可用時將數(shù)據(jù)轉(zhuǎn)發(fā)至目標系統(tǒng)的方式，能夠在保證數(shù)據(jù)高性能采集的情況下，實現(xiàn)高可用性，尤其對于大數(shù)據(jù)等海量數(shù)據(jù)的采集，提高了整個數(shù)據(jù)采集鏈路的高性能、高可用性及穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)采集技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)采集方法、裝置、計算機設(shè)備及計算機可讀存儲介質(zhì)。

背景技術(shù)

在傳統(tǒng)的數(shù)據(jù)采集中，例如尤其大數(shù)據(jù)等海量數(shù)據(jù)的采集方案中，核心組件包括實時采集器，實時采集器包括數(shù)據(jù)讀取組件及數(shù)據(jù)發(fā)送組件，數(shù)據(jù)發(fā)送組件負責(zé)將數(shù)據(jù)發(fā)送到目標系統(tǒng)，例如文件系統(tǒng)、NoSql數(shù)據(jù)庫以及消息隊列等數(shù)據(jù)接收方各自所對應(yīng)的目標系統(tǒng)。一旦目標系統(tǒng)不可用，那么數(shù)據(jù)發(fā)送組件就會找不到發(fā)送目標，從而導(dǎo)致實時采集器處于不可用，會使得整個采集鏈路的數(shù)據(jù)擠壓、丟失以及不可用。因此，傳統(tǒng)技術(shù)中，數(shù)據(jù)采集鏈路的實時采集器不能實現(xiàn)真正的高可用。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種數(shù)據(jù)采集方法、裝置、計算機設(shè)備及計算機可讀存儲介質(zhì)，能夠解決傳統(tǒng)技術(shù)中實時采集器高可用性較低的問題。

第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)采集方法，包括：獲取外部數(shù)據(jù)源的數(shù)據(jù)，并將所述數(shù)據(jù)存入內(nèi)存中；判斷數(shù)據(jù)接收方所對應(yīng)的目標系統(tǒng)是否滿足預(yù)設(shè)存活條件，所述目標系統(tǒng)指數(shù)據(jù)采集系統(tǒng)中包含的接收所采集的數(shù)據(jù)的預(yù)設(shè)組成部分，所述目標系統(tǒng)存活指所述目標系統(tǒng)處于正常接收數(shù)據(jù)的狀態(tài)；若所述目標系統(tǒng)滿足所述預(yù)設(shè)存活條件，從所述內(nèi)存中讀取所述數(shù)據(jù)，并將所述數(shù)據(jù)轉(zhuǎn)發(fā)至所述目標系統(tǒng)，以實現(xiàn)所述數(shù)據(jù)采集；若所述目標系統(tǒng)不滿足所述預(yù)設(shè)存活條件，從所述內(nèi)存中讀取所述數(shù)據(jù)，并將所述數(shù)據(jù)轉(zhuǎn)發(fā)至預(yù)設(shè)存儲器進行暫存，待后續(xù)所述目標系統(tǒng)可用時，將所述數(shù)據(jù)轉(zhuǎn)發(fā)至所述目標系統(tǒng)，以實現(xiàn)所述數(shù)據(jù)采集。

第二方面，本發(fā)明實施例還提供了一種數(shù)據(jù)采集裝置，包括：獲取單元，用于獲取外部數(shù)據(jù)源的數(shù)據(jù)，并將所述數(shù)據(jù)存入內(nèi)存中；第一判斷單元，用于判斷數(shù)據(jù)接收方所對應(yīng)的目標系統(tǒng)是否滿足預(yù)設(shè)存活條件，所述目標系統(tǒng)指數(shù)據(jù)采集系統(tǒng)中包含的接收所采集的數(shù)據(jù)的預(yù)設(shè)組成部分，所述目標系統(tǒng)存活指所述目標系統(tǒng)處于正常接收數(shù)據(jù)的狀態(tài)；第一轉(zhuǎn)發(fā)單元，用于若所述目標系統(tǒng)滿足所述預(yù)設(shè)存活條件，從所述內(nèi)存中讀取所述數(shù)據(jù)，并將所述數(shù)據(jù)轉(zhuǎn)發(fā)至所述目標系統(tǒng)，以實現(xiàn)所述數(shù)據(jù)采集；暫存單元，用于若所述目標系統(tǒng)不滿足所述預(yù)設(shè)存活條件，從所述內(nèi)存中讀取所述數(shù)據(jù)，并將所述數(shù)據(jù)轉(zhuǎn)發(fā)至預(yù)設(shè)存儲器進行暫存，待后續(xù)所述目標系統(tǒng)可用時，將所述數(shù)據(jù)轉(zhuǎn)發(fā)至所述目標系統(tǒng)，以實現(xiàn)所述數(shù)據(jù)采集。

第三方面，本發(fā)明實施例還提供了一種計算機設(shè)備，其包括存儲器及處理器，所述存儲器上存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)所述數(shù)據(jù)采集方法。

第四方面，本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時使所述處理器執(zhí)行所述數(shù)據(jù)采集方法。