[發(fā)明專利]異構(gòu)數(shù)據(jù)同步方法及裝置有效
| 申請?zhí)枺?/td> | 202010568591.8 | 申請日： | 2020-06-19 |
| 公開（公告）號： | CN111666344B | 公開（公告）日： | 2023-05-16 |
| 發(fā)明（設(shè)計）人： | 劉娟;李軍剛;王志鋒;楊凱;韋海燕;鄭楚澤;顏昭霞;蘇博威 | 申請（專利權(quán)）人： | 中信銀行股份有限公司 |
| 主分類號： | G06F16/27 | 分類號： | G06F16/27;G06F16/23;G06F16/2457;G06F16/28;G06F9/54 |
| 代理公司： | 北京市蘭臺律師事務(wù)所 11354 | 代理人： | 張峰 |
| 地址： | 100010 *** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 數(shù)據(jù) 同步 方法 裝置 | ||
1.一種異構(gòu)數(shù)據(jù)同步方法，其特征在于，包括：
采集、解析關(guān)系型數(shù)據(jù)庫的binlog，生成解析數(shù)據(jù)，將所述解析數(shù)據(jù)發(fā)送至kafka消息隊列，作為消息數(shù)據(jù)，包括：
判斷所述解析數(shù)據(jù)是否存在映射關(guān)系，若存在，將所述關(guān)系型數(shù)據(jù)庫binlog轉(zhuǎn)化成json數(shù)據(jù)，再將序列化后的所述json數(shù)據(jù)發(fā)送至所述kafka消息隊列；
加工所述消息數(shù)據(jù)，得到映射值，并將所述映射值寫入非關(guān)系型數(shù)據(jù)庫，包括：
storm循環(huán)消費所述kafka消息隊列中的所述json數(shù)據(jù)；
所述storm根據(jù)元數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)表映射關(guān)系，將所述json數(shù)據(jù)的映射值插入所述非關(guān)系型數(shù)據(jù)庫；
其中，所述非關(guān)系型數(shù)據(jù)庫包括hbase、Redis、MongodDB和Neo4j。
2.根據(jù)權(quán)利要求1所述的異構(gòu)數(shù)據(jù)同步方法，其特征在于，該方法還包括：
元數(shù)據(jù)管理系統(tǒng)配置數(shù)據(jù)模型映射關(guān)系、所述數(shù)據(jù)表映射關(guān)系。
3.根據(jù)權(quán)利要求1～2任一項所述的異構(gòu)數(shù)據(jù)同步方法，其特征在于，該方法還包括：
所述storm將elasticsearch作為加工所述消息數(shù)據(jù)的載體；
所述elasticsearch作為非結(jié)構(gòu)數(shù)據(jù)庫的二級索引。
4.一種異構(gòu)數(shù)據(jù)同步裝置，其特征在于，所述裝置包括：
采集模塊，用于采集、解析關(guān)系型數(shù)據(jù)庫的binlog，生成解析數(shù)據(jù)，將所述解析數(shù)據(jù)發(fā)送至kafka消息隊列，作為消息數(shù)據(jù)；
所述采集模塊還包括：采集器，用于判斷所述解析數(shù)據(jù)是否存在映射關(guān)系，若存在，將所述關(guān)系型數(shù)據(jù)庫binlog轉(zhuǎn)化成json數(shù)據(jù)，再將序列化后的所述json數(shù)據(jù)發(fā)送至所述kafka消息隊列；
加工模塊，用于加工所述消息數(shù)據(jù)，得到映射值，并將所述映射值寫入非關(guān)系型數(shù)據(jù)庫；
所述加工模塊還包括：
消費模塊，通過storm循環(huán)消費所述kafka消息隊列中的所述json數(shù)據(jù)；
插入模塊，通過所述storm根據(jù)元數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)表映射關(guān)系，將所述json數(shù)據(jù)的映射值插入所述非關(guān)系型數(shù)據(jù)庫；
其中，所述非關(guān)系型數(shù)據(jù)庫包括hbase、Redis、MongodDB和Neo4j。
5.根據(jù)權(quán)利要求4所述的異構(gòu)數(shù)據(jù)同步裝置，其特征在于，所述裝置還包括：
元數(shù)據(jù)管理系統(tǒng)，用于配置數(shù)據(jù)模型映射關(guān)系、所述數(shù)據(jù)表映射關(guān)系。
6.根據(jù)權(quán)利要求4～5任一項所述的異構(gòu)數(shù)據(jù)同步裝置，其特征在于，所述裝置還包括：
elasticsearch模塊，用于作為加工所述消息數(shù)據(jù)的載體，作為非結(jié)構(gòu)數(shù)據(jù)庫的二級索引。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于中信銀行股份有限公司，未經(jīng)中信銀行股份有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010568591.8/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法、數(shù)據(jù)系統(tǒng)、接收設(shè)備和數(shù)據(jù)讀取方法
- 數(shù)據(jù)記錄方法、數(shù)據(jù)記錄裝置、數(shù)據(jù)記錄媒體、數(shù)據(jù)重播方法和數(shù)據(jù)重播裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)發(fā)送系統(tǒng)、數(shù)據(jù)發(fā)送裝置以及數(shù)據(jù)結(jié)構(gòu)
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法及數(shù)據(jù)系統(tǒng)
- 數(shù)據(jù)嵌入裝置、數(shù)據(jù)嵌入方法、數(shù)據(jù)提取裝置及數(shù)據(jù)提取方法
- 數(shù)據(jù)管理裝置、數(shù)據(jù)編輯裝置、數(shù)據(jù)閱覽裝置、數(shù)據(jù)管理方法、數(shù)據(jù)編輯方法以及數(shù)據(jù)閱覽方法
- 數(shù)據(jù)發(fā)送和數(shù)據(jù)接收設(shè)備、數(shù)據(jù)發(fā)送和數(shù)據(jù)接收方法
- 數(shù)據(jù)發(fā)送裝置、數(shù)據(jù)接收裝置、數(shù)據(jù)收發(fā)系統(tǒng)、數(shù)據(jù)發(fā)送方法、數(shù)據(jù)接收方法和數(shù)據(jù)收發(fā)方法
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
