[發明專利]一種數據庫的數據同步方法、裝置及系統

在審

• 申請號: 201410499348.X
• 申請日: 2014-09-25
• 公開（公告）號: CN105447054A
• 公開（公告）日: 2016-03-30
• 發明（設計）人: 姚莉
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

技術領域

本發明涉及數據庫同步技術領域，尤其涉及一種數據庫的數據同步方法、裝置及系統。

背景技術

自從1970年E.F.Codd博士提出最初的理論模型以來，關系型數據庫已經成為所有信息系統中必不可少的基礎設施之一，其重要性僅次于操作系統，如今已經沒有哪個大型的系統能夠脫離數據庫而存在。

在實際應用中，由于業務邏輯的復雜性和功能的模塊化設計，往往一個信息系統中會部署有多套數據庫，而且這多套庫之間需要協同合作共享數據，這就要求各數據庫之間能夠實現數據同步。

傳統的數據庫同步方式一般是基于全量的同步，即主備服務器上的數據完全相同。然而在以下幾種場景中，普通的全量同步無法滿足要求。

場景一：在異構數據庫同步的場景中，會出現目的庫的存儲容量與源庫不匹配的情況。當數據量很大時，依然要求目的節點必須是與源庫容量相當的存儲設備。而多數情況下目的庫只是作為數據備份使用，這樣的要求勢必會增加設備成本，而且異構數據庫的優越性也無法得到很好體現。

場景二：在一對多復制的場景中，源庫作為數據源，保存有全量的數據，而每個目的庫作為一個獨立的單元被訪問，只需要保存部分相關的數據即可。使用傳統的全量復制，會造成傳輸的冗余和空間的浪費。

場景三：在復制場景中，在某個時間段可能會出現大量的語句不需要同步的情況，比如對某個字段大量的update操作。傳統的全量復制，默認同步所有語句，會造成資源的浪費。

以上幾種場景，反映了傳統的全量復制方式存在一定的局限性，數據庫系統不能根據不同的數據同步需求進行有選擇的數據復制同步，不能區分哪些數據是需要同步的，將全量數據進行同步造成了傳輸的冗余以及資源的浪費問題。

發明內容

為了解決傳統全量復制模式造成的傳輸冗余、資源浪費問題，本發明提供了一種數據庫的數據同步方法、裝置及系統，以至少解決上述問題。

根據本發明的一個方面，提供了一種數據庫的數據同步方法，包括：獲取源數據庫的邏輯變化記錄LCR(LogicalChangeRecord，簡稱為LCR)；獲取目的數據庫信息；根據所述LCR和所述目的數據庫信息更新對應的所述目的數據庫。

優選地，所述獲取目的數據庫信息，包括以下至少一種：獲取全部目的數據庫信息；獲取指定的目的數據庫信息；根據所述LCR獲取對應的目的數據庫信息。

優選地，所述根據所述LCR獲取對應的目的數據庫信息，包括以下至少一種：根據所述LCR中的字段名稱、字段取值和目的庫對應關系獲取對應的目的數據庫信息；根據所述LCR中的字段名稱、語句類型獲取對應的目的數據庫信息。

優選地，所述根據所述LCR和所述目的數據庫信息更新對應的所述目的數據庫，包括：將所述LCR轉化為與所述目的數據庫相應的SQL語句；根據所述SQL語句更新對應的所述目的數據庫。

優選地，所述獲取源數據庫的邏輯變化記錄LCR，還包括：將所述邏輯變化記錄LCR的格式轉換為所述數據庫系統內部標準的LCR格式。

根據本發明的另一個方面，提供了一種數據庫的數據同步裝置，包括：采集模塊，用于獲取源數據庫的邏輯變化記錄LCR；選擇模塊，用于獲取目的數據庫信息；更新模塊，用于根據所述LCR和所述目的數據庫信息更新對應的所述目的數據庫。

優選地，所述選擇模塊還包括以下至少一種：全量單元，用于獲取全部目的數據庫信息；指定單元，用于獲取指定的目的數據庫信息；過濾單元，用于根據所述LCR獲取對應的目的數據庫信息。

優選地，所述過濾單元還包括以下至少一種：字段值子單元，用于根據所述LCR中的字段名稱、字段取值和目的庫對應關系獲取對應的目的數據庫信息。類型子單元，用于根據所述LCR中的字段名稱、語句類型獲取對應的目的數據庫信息。

優選地，所述更新模塊，包括：語句轉化單元，用于將所述LCR轉化為與所述目的數據庫相應的SQL語句；執行單元，用于根據所述SQL語句對相應的所述目的數據庫進行更新。

優選地，所述采集模塊，包括：格式轉換單元，用于將所述邏輯

變化記錄LCR的格式轉換為所述數據庫內部標準的LCR格式。

根據本發明再一個方面，提供了一種數據庫的數據同步系統，包括：

源數據庫，用于生成邏輯變化記錄LCR；

數據同步裝置，包括：采集模塊，用于獲取源數據庫的邏輯變化記錄LCR；選擇模塊，用于獲取目的數據庫信息；更新模塊，用于根據所述LCR和所述目的數據庫信息更新對應的所述目的數據庫；

目的數據庫，用于執行所述更新操作；