[發(fā)明專利]一種分布式實(shí)時(shí)數(shù)據(jù)處理政務(wù)服務(wù)數(shù)據(jù)的融合與共享方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711131347.X
• 申請(qǐng)日: 2017-11-15
• 公開（公告）號(hào): CN107748800A
• 公開（公告）日: 2018-03-02
• 發(fā)明（設(shè)計(jì)）人: 趙揚(yáng)
• 申請(qǐng)（專利權(quán)）人: 北京易訊通信息技術(shù)股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06Q50/26
• 代理公司: 西安西達(dá)專利代理有限責(zé)任公司61202
• 代理人: 李文義

1.一種分布式實(shí)時(shí)數(shù)據(jù)處理政務(wù)服務(wù)數(shù)據(jù)的融合與共享方法，其特征在于，包括以下步驟：

1）提供數(shù)據(jù)采集接口：數(shù)據(jù)采集程序通過(guò)封裝分布式消息訂閱系統(tǒng)Kafka提供RestfulAPI數(shù)據(jù)接口，對(duì)所有業(yè)務(wù)系統(tǒng)提供統(tǒng)一的數(shù)據(jù)采集格式；

2）提交數(shù)據(jù)：業(yè)務(wù)系統(tǒng)向數(shù)據(jù)采集接口提交業(yè)務(wù)數(shù)據(jù)；

3）獲取數(shù)據(jù)：通過(guò)SparkStreaming分布式內(nèi)存數(shù)據(jù)處理框架，從Kafka中獲取不同的業(yè)務(wù)數(shù)據(jù)；

4）處理數(shù)據(jù)：獲取后的數(shù)據(jù)通過(guò)Spark On Yarn分布式數(shù)據(jù)計(jì)算程序，進(jìn)行抽取、加工、轉(zhuǎn)化；

5）存儲(chǔ)數(shù)據(jù)：將處理后的數(shù)據(jù)存儲(chǔ)在高容錯(cuò)分布式的非關(guān)系型數(shù)據(jù)庫(kù)Hbase中或者傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)Sqlserver、Mysql中；

6）共享數(shù)據(jù)：通過(guò)封裝RestfulAPI接口提供數(shù)據(jù)獲取和數(shù)據(jù)查詢程序，對(duì)所有業(yè)務(wù)系統(tǒng)提供統(tǒng)一完整的政務(wù)服務(wù)數(shù)據(jù)。