[發明專利]一種實現實時增量同步數據的方法及裝置

有效

• 申請號: 201410321182.2
• 申請日: 2014-07-07
• 公開（公告）號: CN105243067B
• 公開（公告）日: 2019-06-28
• 發明（設計）人: 楊威;白軍偉;王嘯風;馮是聰
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/28
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 李紅爽;栗若木

1.一種實現實時增量同步數據的方法，應用于關系型數據庫到分布式系統架構Hadoop的數據導入，包括：

根據關系型數據庫的表結構信息，在面向列的開源數據庫HBase中生成與所述關系型數據庫相對應的映射關系文件；

實時獲取所述關系型數據庫的操作日志；

根據獲得的操作日志，獲取所述關系型數據庫的變更數據，根據建立的所述映射關系文件，將獲得的變更數據更新至Hadoop的HBase中；

其中，所述獲取所述關系型數據庫的操作日志包括：

接收身份標識對應的關系型數據庫的操作日志的變更數據，并將接收到的變更數據按順序存儲在一個消息隊列中；或者，

當未接收到獲取變更數據請求以及消息隊列中的變更數據超過閾值時，則將所述消息隊列中的變更數據按順序存儲到對應目錄文件中。

2.根據權利要求1所述的方法，其特征在于，預先配置所述關系型數據庫的身份標識和起始位點；所述實時獲取關系型數據庫的操作日志包括：

根據所述身份標識和起始位點，從起始位點開始獲取所述身份標識對應的關系型數據庫的操作日志。

3.根據權利要求1或2所述的方法，其特征在于，在所述實時獲取關系型數據庫的操作日志之后，所述方法還包括：

更新所述關系型數據庫的起始位點；

根據更新后的起始位點，獲取所述關系型數據庫的下一個操作日志。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：將獲得的所述變更數據保存在本地文件中，并記錄下更新歷史。

5.一種實現實時增量同步數據的裝置，應用于關系型數據庫到分布式系統架構Hadoop的數據導入，包括：建表模塊、日志獲取模塊、多個日志解析客戶端模塊和數據更新模塊，其中：

建表模塊，用于根據關系型數據庫的表結構信息，在分布式的、面向列的開源數據庫HBase中生成與所述關系型數據庫相對應的映射關系文件；

日志獲取模塊，用于實時獲取所述關系型數據庫的操作日志；

每個日志解析客戶端模塊，分別與所述日志獲取模塊相連，用于接收所述日志解析客戶端模塊發送的操作日志及變更數據，并將獲得的變更數據發送給數據更新模塊；

數據更新模塊，用于實時的接收所述每個日志解析客戶端模塊發送的變更數據，并根據所述建表模塊建立的所述映射關系文件，將獲得的變更數據更新至Hadoop的HBase中；

所述日志獲取模塊還用于：

接收身份標識對應的關系型數據庫的操作日志的數據，并將接收到的數據按順序存儲在一個消息隊列中，供相對應的所述日志解析客戶端模塊請求獲取；或者，

若所述日志解析客戶端模塊未請求獲取所述數據，當消息隊列中的數據超過閾值時，則將所述消息隊列中的數據按順序存儲到對應目錄文件中。

6.根據權利要求5所述的裝置，其特征在于，所述日志獲取模塊具體用于：

預先配置所述關系型數據庫唯一的身份標識和起始位點；

根據所述身份標識和起始位點，從起始位點開始獲取所述身份標識相對應的關系型數據庫的操作日志。

7.根據權利要求5或6所述的裝置，其特征在于，所述日志獲取模塊還用于：

更新所述關系型數據庫的起始位點；

根據更新后的起始位點，獲取所述關系型數據庫的下一個操作日志。

8.根據權利要求7所述的裝置，其特征在于，所述日志解析客戶端模塊還用于：當所述數據更新模塊未啟動時，將接收到的所述變更數據存儲在本地文件中。

9.根據權利要求7所述的裝置，其特征在于，所述數據更新模塊還用于：將獲得的所述變更數據保存在本地文件中，并記錄下更新歷史。