[發(fā)明專利]基于日志解析技術(shù)的PG數(shù)據(jù)庫到Hadoop平臺的數(shù)據(jù)同步復(fù)制方法

在審

• 申請?zhí)枺?/td>: 201711398111.2
• 申請日: 2017-12-21
• 公開（公告）號: CN108228756A
• 公開（公告）日: 2018-06-29
• 發(fā)明（設(shè)計）人: 蔣元晨;徐增榮;李賢慧;何陽;黃偉
• 申請（專利權(quán)）人: 江蘇瑞中數(shù)據(jù)股份有限公司;南瑞集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京知識律師事務(wù)所 32207
• 代理人: 劉豐

1.基于日志解析技術(shù)的PostgresSQL數(shù)據(jù)庫到Hadoop平臺的數(shù)據(jù)同步復(fù)制方法，其特征在于，包括以下步驟：

1）開啟PostgresSQL數(shù)據(jù)庫的邏輯復(fù)制功能，并保證最大日志發(fā)送進程數(shù)大于設(shè)定的次數(shù)，修改數(shù)據(jù)庫用戶設(shè)置使得能直接使用流復(fù)制協(xié)議；

2）采用日志解析模塊對所需要處理的PostgresSQL數(shù)據(jù)庫的邏輯日志進行規(guī)則過濾，并按照事務(wù)完整性發(fā)送完整的數(shù)據(jù)；

3）采用消息接收模塊根據(jù)配置的接收信息，接收來自日志解析模塊的數(shù)據(jù)，并按照本地規(guī)則寫入到本地用于數(shù)據(jù)加載的緩存數(shù)據(jù)文件中；

4）采用SQL適配模塊讀取緩存數(shù)據(jù)文件，并根據(jù)Hadoop平臺的類型，轉(zhuǎn)換成通用標準SQL數(shù)據(jù)語句格式，將數(shù)據(jù)加載進入Hadoop平臺。

2.根據(jù)權(quán)利要求1中所述的基于日志解析技術(shù)的PostgresSQL數(shù)據(jù)庫到Hadoop平臺的數(shù)據(jù)同步復(fù)制方法，其特征在于，所述步驟1）中的設(shè)定的次數(shù)為2。

3.根據(jù)權(quán)利要求2中所述的基于日志解析技術(shù)的PostgresSQL數(shù)據(jù)庫到Hadoop平臺的數(shù)據(jù)同步復(fù)制方法，其特征在于：所述步驟2）中，日志解析模塊通過對PostgresSQL數(shù)據(jù)庫的邏輯日志的格式分析，按照固定的字節(jié)讀取方式和解析規(guī)則，得到用戶對數(shù)據(jù)庫的操作指令和操作結(jié)果集，在解析過程中添加事務(wù)完整性的檢查點設(shè)置，對斷電及故障情況下數(shù)據(jù)庫重啟做到無臟數(shù)據(jù)和重復(fù)數(shù)據(jù)的讀取，主動過濾重復(fù)事務(wù)以及事務(wù)不完整的數(shù)據(jù)。