[發(fā)明專利]一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011102381.6
• 申請(qǐng)日: 2020-10-15
• 公開（公告）號(hào): CN112199430A
• 公開（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 張震
• 申請(qǐng)（專利權(quán)）人: 蘇州龍盈軟件開發(fā)有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/27;G06F16/2455;G06Q10/04;G06Q10/06
• 代理公司: 北京酷愛智慧知識(shí)產(chǎn)權(quán)代理有限公司 11514
• 代理人: 鄒成嬌

本發(fā)明公開一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)及方法，包括數(shù)據(jù)中臺(tái)和數(shù)據(jù)采集裝置；所述數(shù)據(jù)采集裝置用于采集至少一個(gè)服務(wù)平臺(tái)的數(shù)據(jù)源信息；所述數(shù)據(jù)中臺(tái)對(duì)采集的數(shù)據(jù)源信息進(jìn)行分析處理，生成同一業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)源；將同一業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)源作為供前臺(tái)使用的業(yè)務(wù)數(shù)據(jù)，響應(yīng)前臺(tái)的業(yè)務(wù)需求。上述方案將多源海量數(shù)據(jù)進(jìn)行邏輯封裝，形成數(shù)據(jù)中臺(tái)，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的標(biāo)準(zhǔn)化；利用數(shù)據(jù)中臺(tái)技術(shù)打破數(shù)據(jù)孤島，整合數(shù)據(jù)結(jié)構(gòu)，統(tǒng)一數(shù)據(jù)出口，形成數(shù)據(jù)閉環(huán)，將客戶獲取、媒介渠道管理、營(yíng)銷鏈路、運(yùn)營(yíng)狀況、財(cái)務(wù)管理等各種數(shù)據(jù)串聯(lián)，有助于形成數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展的局面。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域的數(shù)據(jù)處理系統(tǒng)及方法，具體涉及一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)及方法。

背景技術(shù)

隨著企業(yè)信息化落地，從生產(chǎn)經(jīng)營(yíng)到各種業(yè)務(wù)場(chǎng)景中積累了大量的數(shù)據(jù)資產(chǎn)，然而這些資產(chǎn)散亂復(fù)雜，阻礙了我們的使用以及對(duì)其價(jià)值的深度挖掘。

傳統(tǒng)的業(yè)務(wù)系統(tǒng)表現(xiàn)出技術(shù)架構(gòu)落后、重復(fù)建設(shè)過程繁多等問題，早已不能滿足企業(yè)的發(fā)展需求。系統(tǒng)在建設(shè)的過程中，每上線一個(gè)新功能，都會(huì)出現(xiàn)大量重復(fù)建設(shè)內(nèi)容。其缺點(diǎn)在于缺乏數(shù)據(jù)統(tǒng)一性、標(biāo)準(zhǔn)性和擴(kuò)展性，這使得后期數(shù)據(jù)的抽取和同步困難，原數(shù)據(jù)在各個(gè)業(yè)務(wù)線中獨(dú)立存在，系統(tǒng)間數(shù)據(jù)集成差，造成數(shù)據(jù)孤島。

因此在當(dāng)前信息化時(shí)代背景下，企業(yè)需亟待解決整合數(shù)據(jù)資產(chǎn)、提升數(shù)字化能力的進(jìn)程。

發(fā)明內(nèi)容

為了實(shí)現(xiàn)現(xiàn)有技術(shù)中的需求，本發(fā)明提供一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)及方法，整合了數(shù)據(jù)結(jié)構(gòu)，統(tǒng)一數(shù)據(jù)出口，形成數(shù)據(jù)閉環(huán)，將客戶獲取、媒介渠道管理、營(yíng)銷鏈路、運(yùn)營(yíng)狀況、財(cái)務(wù)管理等各種數(shù)據(jù)串聯(lián)，有助于形成數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展的局面。利用數(shù)據(jù)中臺(tái)技術(shù)打破數(shù)據(jù)孤島，解決了原數(shù)據(jù)在各個(gè)業(yè)務(wù)線中獨(dú)立存在的問題。

本發(fā)明通過以下技術(shù)手段解決上述技術(shù)問題：

一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)，包括數(shù)據(jù)中臺(tái)和數(shù)據(jù)采集裝置；

所述數(shù)據(jù)采集裝置用于采集至少一個(gè)服務(wù)平臺(tái)的數(shù)據(jù)源信息；

所述數(shù)據(jù)中臺(tái)對(duì)采集的數(shù)據(jù)源信息進(jìn)行分析處理，生成同一業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)源；

將所述同一業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)源作為供前臺(tái)使用的業(yè)務(wù)數(shù)據(jù)，響應(yīng)前臺(tái)的業(yè)務(wù)需求。

優(yōu)選的，所述數(shù)據(jù)采集裝置包括：與服務(wù)平臺(tái)連接的數(shù)據(jù)采集層，以及設(shè)置于服務(wù)平臺(tái)與數(shù)據(jù)采集層之間的通用接口；

所述數(shù)據(jù)采集層采用通用接口通過多類型通信介質(zhì)與所述服務(wù)平臺(tái)相互通信，根據(jù)預(yù)先定義的通信協(xié)議自動(dòng)辨識(shí)連接的服務(wù)平臺(tái)，采集來(lái)自所述服務(wù)平臺(tái)的數(shù)據(jù)源信息。

進(jìn)一步地，所述數(shù)據(jù)采集層包括：

連接模塊，用于向目標(biāo)服務(wù)平臺(tái)發(fā)送異步請(qǐng)求，與所述服務(wù)平臺(tái)的源數(shù)據(jù)庫(kù)建立同步連接；

第一獲取模塊，用于采用開源框架工具，讀取源數(shù)據(jù)庫(kù)二進(jìn)制日志文件列表中的結(jié)構(gòu)化數(shù)據(jù)；

第二獲取模塊，用于采用flume+kafka讀取源數(shù)據(jù)庫(kù)中的非結(jié)構(gòu)化數(shù)據(jù)；

構(gòu)建模塊，用于建立包含結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)源列表；

處理模塊，用于基于flink開源技術(shù)，處理所述數(shù)據(jù)源列表的增量數(shù)據(jù)。

進(jìn)一步地，所述服務(wù)平臺(tái)包括多個(gè)獨(dú)立運(yùn)行的服務(wù)中心，所述服務(wù)中心包括多個(gè)提供不同業(yè)務(wù)類型的微服務(wù)。

優(yōu)選的，所述數(shù)據(jù)中臺(tái)包括：自下而上依次連接的預(yù)處理層、數(shù)據(jù)操作層、數(shù)據(jù)字典層、數(shù)據(jù)明細(xì)層、匯總數(shù)據(jù)層和數(shù)據(jù)應(yīng)用層；

其中，所述預(yù)處理層，用于實(shí)時(shí)自動(dòng)同步數(shù)據(jù)采集裝置的增量數(shù)據(jù)，對(duì)所述增量數(shù)據(jù)進(jìn)行邏輯封裝并儲(chǔ)存；