[發(fā)明專利]一種實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)資源自動(dòng)同步的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310539536.6
• 申請(qǐng)日: 2013-11-04
• 公開（公告）號(hào): CN103617176A
• 公開（公告）日: 2014-03-05
• 發(fā)明（設(shè)計(jì)）人: 許丞;謝毅;劉祥濤;岳強(qiáng);季統(tǒng)凱
• 申請(qǐng)（專利權(quán)）人: 廣東電子工業(yè)研究院有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京科億知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)資源自動(dòng)同步的方法，其特征在于：

首先，元數(shù)據(jù)服務(wù)節(jié)點(diǎn)向前置機(jī)節(jié)點(diǎn)發(fā)出同步更新請(qǐng)求，前置機(jī)節(jié)點(diǎn)接受請(qǐng)求，并從中解析出相關(guān)參數(shù)：數(shù)據(jù)庫地址、數(shù)據(jù)庫名、用戶名、密碼等；

解析出的參數(shù)傳遞給配置分析器，配置分析器連接源數(shù)據(jù)庫，讀取源數(shù)據(jù)庫的日志配置信息，根據(jù)數(shù)據(jù)庫的類型及配置信息，判斷是否可以采用增量同步方式；

如果增量同步方式可行，日志解析器將首先根據(jù)數(shù)據(jù)庫類型，初始化解析環(huán)境，然后啟用一個(gè)線程，從數(shù)據(jù)庫中讀取日志文件中記錄的DDL和DML語句，并保存在本地的緩存中；接著，同步更新器再啟用另外一個(gè)線程，從緩存中依次取出DML或DDL語句，更新前置機(jī)節(jié)點(diǎn)上的數(shù)據(jù)庫；

如果源數(shù)據(jù)庫需要采用全量同步更新方式，同步更新器根據(jù)數(shù)據(jù)庫類型，使用現(xiàn)有的數(shù)據(jù)同步或備份工具，構(gòu)造出一個(gè)自動(dòng)化的數(shù)據(jù)同步腳本文件；然后，同步更新器將創(chuàng)建一個(gè)新的進(jìn)程運(yùn)行腳本，進(jìn)行數(shù)據(jù)同步；

同步完成后，同步更新器將更新元數(shù)據(jù)節(jié)點(diǎn)中的同步狀態(tài)信息，報(bào)告同步過程已完成。

2.根據(jù)權(quán)利要求1所述的實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)資源自動(dòng)同步的方法，其特征在于：生產(chǎn)節(jié)點(diǎn)與前置機(jī)節(jié)點(diǎn)是分布式異構(gòu)數(shù)據(jù)庫系統(tǒng)中的組件；其中，生產(chǎn)節(jié)點(diǎn)是指已部署的生產(chǎn)系統(tǒng)中的提供數(shù)據(jù)源的節(jié)點(diǎn)；前置機(jī)節(jié)點(diǎn)是指在分布式異構(gòu)數(shù)據(jù)庫中提供數(shù)據(jù)源的節(jié)點(diǎn)。

3.根據(jù)權(quán)利要求1所述的實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)資源自動(dòng)同步的方法，其特征在于：所述的配置分析器、日志解析器、同步更新器設(shè)置在前置機(jī)節(jié)點(diǎn)上。

4.根據(jù)權(quán)利要求2所述的實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)資源自動(dòng)同步的方法，其特征在于：所述的配置分析器、日志解析器、同步更新器設(shè)置在前置機(jī)節(jié)點(diǎn)上。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)資源自動(dòng)同步的方法，其特征在于：所述的配置分析器需要對(duì)每種數(shù)據(jù)庫的配置信息進(jìn)行識(shí)別，具體如下：

對(duì)于MySQL數(shù)據(jù)庫，查看數(shù)據(jù)庫是否開啟二進(jìn)制日志功能，如果數(shù)據(jù)庫系統(tǒng)沒有開啟二進(jìn)制日志功能，則使用全量同步模式；如果二進(jìn)制日志功能開啟，則判定需要采用增量同步模式；

對(duì)于Oracle、DB2數(shù)據(jù)庫，查看數(shù)據(jù)庫系統(tǒng)是否開啟歸檔日志模式，如果開啟，則判定可采用增量同步模式，否則判定需要采用全量同步模式；

對(duì)于SQL?Server數(shù)據(jù)庫，查看日志模式是否為完全日志工作模式，如果是，則可采用增量同步模式，否則判定需要采用全量同步模式。

6.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)資源自動(dòng)同步的方法，其特征在于：當(dāng)源數(shù)據(jù)庫可以進(jìn)行增量同步更新時(shí)，日志解析器首先獲取指定時(shí)間段內(nèi)的所有日志文件，并根據(jù)數(shù)據(jù)庫類型，解析日志文件內(nèi)容，獲取DDL與DML語句；同時(shí)，針對(duì)每種數(shù)據(jù)庫，日志解析器將采用不同的方式解析日志文件內(nèi)容，具體如下：

對(duì)于MySQL數(shù)據(jù)庫，通過調(diào)用內(nèi)置的mysqlbinlog工具，查詢?nèi)罩緝?nèi)容，獲取相應(yīng)的DDL與DML語句；

對(duì)于Oracle數(shù)據(jù)庫，通過使用LogMiner工具，解析歸檔日志的內(nèi)容；首先調(diào)用內(nèi)置的存儲(chǔ)過程sys.DBMS._LOGMNR_D.BUILD從redo日志中獲取LogMiner所需的數(shù)據(jù)字典；然后，添加需要解析的日志文件，并進(jìn)行解析；最后，查看解析結(jié)果視圖，獲取DDL與DML操作語句；

對(duì)于DB2數(shù)據(jù)庫，首先通過調(diào)用數(shù)據(jù)庫系統(tǒng)內(nèi)置的API接口--db2ReadLogNoConn，初始化解析環(huán)境；然后，調(diào)用db2ReadLog接口，逐條解析日志記錄，獲取DDL與DML語句；

對(duì)于SQL?Server數(shù)據(jù)庫，利用fn_dblog，讀取SQL?Server日志，并根據(jù)SQL?Server二進(jìn)制日志文件格式，逐條進(jìn)行解析，獲取DDL與DML語句。