[發(fā)明專利]業(yè)務(wù)數(shù)據(jù)實(shí)時上報(bào)、獲取方法、裝置、設(shè)備及其存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201711235076.2
• 申請日: 2017-11-29
• 公開（公告）號: CN107885881A
• 公開（公告）日: 2018-04-06
• 發(fā)明（設(shè)計(jì)）人: 陳敏;蔡適擇;陳軍;陳東沂;張強(qiáng)
• 申請（專利權(quán)）人: 順豐科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京志霖恒遠(yuǎn)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11435
• 代理人: 郭棟梁

技術(shù)領(lǐng)域

本申請一般涉及網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及業(yè)務(wù)數(shù)據(jù)實(shí)時上報(bào)、獲取方法、裝置、設(shè)備及其存儲介質(zhì)。

背景技術(shù)

隨著計(jì)算機(jī)和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴(kuò)大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。動輒達(dá)到數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模的行業(yè)/企業(yè)大數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)的計(jì)算技術(shù)和信息系統(tǒng)的處理能力。

大數(shù)據(jù)處理領(lǐng)域，大數(shù)據(jù)平臺的前端必須完成數(shù)據(jù)收集，常見的業(yè)務(wù)數(shù)據(jù)收集有如下兩種方法：

第一，提供業(yè)務(wù)數(shù)據(jù)上報(bào)的軟件開發(fā)工具包(Software Development Kit，SDK)，由業(yè)務(wù)方在業(yè)務(wù)系統(tǒng)中調(diào)用SDK，嵌入數(shù)據(jù)上報(bào)API進(jìn)行實(shí)時數(shù)據(jù)主動推送上報(bào)；

第二，提供數(shù)據(jù)采集工具，如：logstash、flume等，被動地采集業(yè)務(wù)系統(tǒng)業(yè)務(wù)數(shù)據(jù)上報(bào)。

針對第一種方法，雖然數(shù)據(jù)采集實(shí)時性高，但是需要在業(yè)務(wù)系統(tǒng)中嵌入數(shù)據(jù)上報(bào)的相關(guān)代碼邏輯，導(dǎo)致業(yè)務(wù)侵入性較強(qiáng)，且也推廣不變。

針對第二種方法，雖然業(yè)務(wù)侵入性較小，但是數(shù)據(jù)采集實(shí)時性較差，且對于采集業(yè)務(wù)數(shù)據(jù)對象為日志文件的情況，數(shù)據(jù)丟失的可能性較大。

亟待提出一種能夠在大數(shù)據(jù)領(lǐng)域?qū)崟r上報(bào)業(yè)務(wù)數(shù)據(jù)的方案來解決上述問題。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，期望提供一種由流式處理模塊執(zhí)行業(yè)務(wù)數(shù)據(jù)實(shí)時上報(bào)的方案。

第一方面，本申請實(shí)施例提供了一種業(yè)務(wù)數(shù)據(jù)實(shí)時上報(bào)的方法，該方法由流式處理模塊執(zhí)行，包括：

實(shí)時獲取業(yè)務(wù)數(shù)據(jù)庫的二進(jìn)制日志數(shù)據(jù)；

實(shí)時解析二進(jìn)制日志數(shù)據(jù)中與業(yè)務(wù)數(shù)據(jù)相關(guān)的字段屬性；

利用字段屬性將獲取的類文件實(shí)例化，生成業(yè)務(wù)數(shù)據(jù)對象；

將業(yè)務(wù)數(shù)據(jù)對象序列化后寫入數(shù)據(jù)總線…

第二方面，本申請實(shí)施例提供了一種業(yè)務(wù)數(shù)據(jù)實(shí)時上報(bào)的裝置，該裝置包括：

日志獲取單元，用于實(shí)時獲取業(yè)務(wù)數(shù)據(jù)庫的二進(jìn)制日志數(shù)據(jù)；

日志解析單元，用于實(shí)時解析二進(jìn)制日志數(shù)據(jù)中與業(yè)務(wù)數(shù)據(jù)相關(guān)的字段屬性；

類實(shí)例化單元，用于利用字段屬性將獲取的類文件實(shí)例化，生成業(yè)務(wù)數(shù)據(jù)對象

寫入數(shù)據(jù)單元，用于業(yè)務(wù)數(shù)據(jù)對象序列化后寫入數(shù)據(jù)總線

第三方面，本申請實(shí)施例提供了一種業(yè)務(wù)數(shù)據(jù)實(shí)時獲取的方法，該方法包括：

從數(shù)據(jù)總線訂閱如本申請實(shí)施例提供的方法得到的業(yè)務(wù)數(shù)據(jù)對象；

將業(yè)務(wù)數(shù)據(jù)對象進(jìn)行反序列化處理得到業(yè)務(wù)數(shù)據(jù)。

第四方面，本申請實(shí)施例提供了一種業(yè)務(wù)數(shù)據(jù)實(shí)時獲取的裝置，該裝置包括：

訂閱單元，用于從數(shù)據(jù)總線訂閱如本申請實(shí)施例提供的方法得到的業(yè)務(wù)數(shù)據(jù)對象，

獲取單元，用于將業(yè)務(wù)數(shù)據(jù)對象進(jìn)行反序列化處理得到業(yè)務(wù)數(shù)據(jù)。

第五方面，本申請實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，該設(shè)備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，當(dāng)該一個或多個程序被前述一個或多個處理器執(zhí)行，使得前述一個或多個處理器實(shí)現(xiàn)如本申請實(shí)施例提供的方法。

第六方面，本申請實(shí)施例提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如本申請實(shí)施例提供的方法。

本申請實(shí)施例的技術(shù)方案，通過流式處理模塊實(shí)時獲取業(yè)務(wù)數(shù)據(jù)庫的二進(jìn)制日志，能夠解決大數(shù)據(jù)業(yè)務(wù)系統(tǒng)海量數(shù)據(jù)上報(bào)的問題，并通過解析二進(jìn)制日志文件相關(guān)屬性，然后將相關(guān)屬性賦值給預(yù)先定義的模板文件，實(shí)現(xiàn)類文件的實(shí)例化，從而生成業(yè)務(wù)數(shù)據(jù)對象，為后端提供了豐富的業(yè)務(wù)資源，滿足了后端業(yè)務(wù)多種需求，同時降低了業(yè)務(wù)數(shù)據(jù)上報(bào)成本。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實(shí)施例所作的詳細(xì)描述，本申請的其它特征、目的和優(yōu)點(diǎn)將會變得更明顯：

圖1示出了本申請實(shí)施例的業(yè)務(wù)上報(bào)方法的流程示意圖。

圖2示出了本申請實(shí)施例的業(yè)務(wù)上報(bào)裝置的結(jié)構(gòu)示意圖。

圖3示出了本申請實(shí)施例的業(yè)務(wù)獲取方法的流程示意圖。

圖4示出了本申請實(shí)施例的業(yè)務(wù)獲取裝置的結(jié)構(gòu)示意圖。

圖5示出了適于用來實(shí)現(xiàn)本申請實(shí)施例的終端設(shè)備的計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式