[發(fā)明專利]一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011102381.6
• 申請(qǐng)日: 2020-10-15
• 公開（公告）號(hào): CN112199430A
• 公開（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 張震
• 申請(qǐng)（專利權(quán)）人: 蘇州龍盈軟件開發(fā)有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/27;G06F16/2455;G06Q10/04;G06Q10/06
• 代理公司: 北京酷愛智慧知識(shí)產(chǎn)權(quán)代理有限公司 11514
• 代理人: 鄒成嬌

1.一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)，其特征在于，包括數(shù)據(jù)中臺(tái)和數(shù)據(jù)采集裝置；

所述數(shù)據(jù)采集裝置用于采集至少一個(gè)服務(wù)平臺(tái)的數(shù)據(jù)源信息；

所述數(shù)據(jù)中臺(tái)對(duì)采集的數(shù)據(jù)源信息進(jìn)行分析處理，生成同一業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)源；

將所述同一業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)源作為供前臺(tái)使用的業(yè)務(wù)數(shù)據(jù)，響應(yīng)前臺(tái)的業(yè)務(wù)需求。

2.如權(quán)利要求1所述的一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)采集裝置包括：與服務(wù)平臺(tái)連接的數(shù)據(jù)采集層，以及設(shè)置于服務(wù)平臺(tái)與數(shù)據(jù)采集層之間的通用接口；

所述數(shù)據(jù)采集層采用通用接口通過多類型通信介質(zhì)與所述服務(wù)平臺(tái)相互通信，根據(jù)預(yù)先定義的通信協(xié)議自動(dòng)辨識(shí)連接的服務(wù)平臺(tái)，采集來自所述服務(wù)平臺(tái)的數(shù)據(jù)源信息。

3.如權(quán)利要求2所述的一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)采集層包括：

連接模塊，用于向目標(biāo)服務(wù)平臺(tái)發(fā)送異步請(qǐng)求，與所述服務(wù)平臺(tái)的源數(shù)據(jù)庫建立同步連接；

第一獲取模塊，用于采用開源框架工具，讀取源數(shù)據(jù)庫二進(jìn)制日志文件列表中的結(jié)構(gòu)化數(shù)據(jù)；

第二獲取模塊，用于采用flume+kafka讀取源數(shù)據(jù)庫中的非結(jié)構(gòu)化數(shù)據(jù)；

構(gòu)建模塊，用于建立包含結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)源列表；

處理模塊，用于基于flink開源技術(shù)，處理所述數(shù)據(jù)源列表的增量數(shù)據(jù)。

4.如權(quán)利要求2所述的一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)，其特征在于，所述服務(wù)平臺(tái)包括多個(gè)獨(dú)立運(yùn)行的服務(wù)中心，所述服務(wù)中心包括多個(gè)提供不同業(yè)務(wù)類型的微服務(wù)。

5.如權(quán)利要求1所述的一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)中臺(tái)包括：自下而上依次連接的預(yù)處理層、數(shù)據(jù)操作層、數(shù)據(jù)字典層、數(shù)據(jù)明細(xì)層、匯總數(shù)據(jù)層和數(shù)據(jù)應(yīng)用層；

其中，所述預(yù)處理層，用于實(shí)時(shí)自動(dòng)同步數(shù)據(jù)采集裝置的增量數(shù)據(jù)，對(duì)所述增量數(shù)據(jù)進(jìn)行邏輯封裝并儲(chǔ)存；

數(shù)據(jù)操作層，用于將預(yù)處理層存儲(chǔ)的數(shù)據(jù)按照不同的業(yè)務(wù)類型生成業(yè)務(wù)庫，并將業(yè)務(wù)庫的原始數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理后存儲(chǔ)到對(duì)應(yīng)的目錄；

數(shù)據(jù)字典層，用于構(gòu)建各業(yè)務(wù)庫所需的字典表數(shù)據(jù)；所述字典表數(shù)據(jù)包括：媒體資源數(shù)據(jù)、客戶列表數(shù)據(jù)、供應(yīng)商列表數(shù)據(jù)和各角色人員信息數(shù)據(jù)；

數(shù)據(jù)明細(xì)層，用于使用數(shù)據(jù)操作層和數(shù)據(jù)字典層兩部分，建立各業(yè)務(wù)庫和字典表數(shù)據(jù)之間的映射關(guān)系，

匯總數(shù)據(jù)層，用于基于數(shù)據(jù)明細(xì)層定義相應(yīng)的全局分析指標(biāo)，形成業(yè)務(wù)流形式的全量數(shù)據(jù)；

數(shù)據(jù)應(yīng)用層，用于獲取業(yè)務(wù)流形式的全量數(shù)據(jù)，基于業(yè)務(wù)需求在全局分析指標(biāo)中調(diào)用個(gè)體分析指標(biāo)，對(duì)全量數(shù)據(jù)進(jìn)行預(yù)測(cè)，生成同一業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)源。

6.如權(quán)利要求5所述的一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)，其特征在于，所述匯總數(shù)據(jù)層包括：

分析模塊，用于從所述業(yè)務(wù)庫中解析出所述增量數(shù)據(jù)。

7.如權(quán)利要求6所述的一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)應(yīng)用層包括：

標(biāo)準(zhǔn)化處理模塊，對(duì)所述業(yè)務(wù)流形式的全量數(shù)據(jù)的初始數(shù)字化信息進(jìn)行標(biāo)準(zhǔn)化處理，濾掉不符合個(gè)體分析指標(biāo)的數(shù)據(jù)，得到無噪聲的數(shù)據(jù)；

部署模塊，用于部署所述增量數(shù)據(jù)相應(yīng)的數(shù)據(jù)分析應(yīng)用場(chǎng)景；所述數(shù)據(jù)分析應(yīng)用場(chǎng)景，包括業(yè)務(wù)狀況分析、決策分析、財(cái)務(wù)狀況、人效模型和風(fēng)險(xiǎn)預(yù)測(cè)；

預(yù)測(cè)模塊，用于基于業(yè)務(wù)需求從全量數(shù)據(jù)中選取查詢字段，建立多個(gè)查詢字段之間的數(shù)據(jù)血緣關(guān)系模型和相關(guān)預(yù)測(cè)模型；其中，所述相關(guān)預(yù)測(cè)模型用于預(yù)測(cè)媒體消耗和訂單銷售情況；

所述查詢字段包括：噪聲信息、異常行為、數(shù)據(jù)源類型和數(shù)據(jù)源來源信息字段。

8.一種基于數(shù)據(jù)中臺(tái)的業(yè)務(wù)數(shù)據(jù)處理方法，其特征在于，所述方法包括：

采集至少一個(gè)服務(wù)平臺(tái)的數(shù)據(jù)源信息；

對(duì)采集的數(shù)據(jù)源信息進(jìn)行分析處理，生成同一業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)源；

將所述同一業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)源作為供前臺(tái)使用的業(yè)務(wù)數(shù)據(jù)，響應(yīng)前臺(tái)的業(yè)務(wù)需求。