[發明專利]數據復制系統

在審

• 申請號: 201880033000.8
• 申請日: 2018-03-23
• 公開（公告）號: CN110651265A
• 公開（公告）日: 2020-01-03
• 發明（設計）人: 普拉桑納·巴帕特;斯瓦珀尼爾·沙赫
• 申請（專利權）人: 英國天然氣控股有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 11240 北京康信知識產權代理有限責任公司
• 代理人: 劉彬

公開了一種數據復制系統，包括被配置為在第一數據儲存庫運行的變化事件檢測模塊和被配置為在第二數據儲存庫運行的變化事件實現模塊。還提供了一種被配置為根據消息訂閱傳輸接收到的消息的消息服務。事件檢測模塊被配置為檢測對第一數據儲存庫所做的變化，并將變化事件消息傳輸到消息服務。事件實現模塊被配置為在消息服務處訂閱變化事件消息，并且響應于接收到變化事件消息，在第二數據儲存庫實現變化事件。

技術領域

本發明涉及用于在不同數據存儲系統之間復制數據的系統和方法。

背景技術

組織管理越來越大的數據量。一種替代方法是將數據匯集到大規模的數據儲存庫中，有時也稱為數據倉庫或數據湖，而不是依賴于許多單獨的傳統數據庫(例如，關系數據庫)。通常需要在另一位置維護來自這種數據倉庫的數據副本。這可能是為了數據安全和災難恢復，但也是為了允許不同系統(例如，操作和分析系統)訪問，而這些系統不會中斷彼此的操作。然而，許多大規模數據倉庫解決方案中采用的相當自由、非結構化的數據存儲方法在實現數據復制時帶來了挑戰。所涉及的數據量也可能非常大，并且因此數據提取和傳輸過程可能會影響任何一個數據存儲的操作(這可能會有問題，尤其是如果源數據支持具有高交易量的組織的操作)。一種常見的方法是在安靜的時間(例如，夜間)以相對不頻繁的批處理方式復制數據。然而，這意味著目標數據存儲(例如，可以支持分析和報告功能)通常不是完全最新的，僅提供特定時間點的數據的近似歷史視圖。此外，現有的數據復制工具通常在功能上受到限制，并且不一定允許源數據存儲的所有必需方面高效地復制到目標數據存儲。例如，雖然基于Apache Hadoop的存儲集群上可用的“distcp”分布式復制工具可用于執行基本的復制操作，但這僅在文件級別操作，并且因此比實時數據復制更適合于計劃的批量復制操作。

發明內容

本發明力圖減輕已知數據復制方法的一些問題。

在本發明的第一方面，提供了一種在目標數據儲存庫處復制對源數據儲存庫所做的變化的方法，該方法包括在目標數據儲存庫處：接收變化事件消息，包括指定在源數據儲存庫處檢測到的數據變化事件的信息，所述數據變化事件包括寫入源數據儲存庫的一個或多個數據值；響應于變化事件消息，向源數據儲存庫發送對一個或多個數據值的請求；從源數據儲存庫接收一個或多個數據值；并且基于所接收的數據值更新存儲在目標數據儲存庫中的數據。

這種方法允許將源儲存庫中所做的變化的通知與修改數據的檢索分開，從而提高效率和可靠性。一個或多個數據值可以包括寫入源儲存庫的新數據(例如，插入數據表的行或附加到文件的數據)，或者可以包括替換現有數據值的修改后的數據值(例如，數據表的行更新或覆蓋文件中現有數據的數據)。該請求可以是特定的并且僅針對新的/修改的數據值的請求，和/或作為響應，可以僅傳輸/接收新的/修改的數據值(例如，修改行中的特定字段值)。可選地，可以請求和/或響應于該請求傳輸/接收包括新的/修改的數據值的更大的數據單元。例如，對于行插入或行更新，可以請求/傳輸整行，或者可以請求/傳輸包含包括新的/修改的數據值(例如，包含多個表行)的表數據的整個文件。對于文件更新，可以請求/傳輸整個文件或其相關部分。

該消息優選地指定在源數據儲存庫處執行的操作。該操作可以包括插入操作和更新操作中的一個(例如，用于插入或更新數據表中的一行或多行)。該操作還可以包括文件創建/更新/附加操作。

優選地，消息不包括一個或多個數據值。因此，該消息可以指定所執行的操作的類型和/或識別修改的數據，而不包括修改的數據。優選地，該消息包括允許識別一個或多個數據值的識別信息，該請求包括識別信息(例如，行或文件標識符)。

該消息優選地經由消息服務接收。這種消息服務優選地被設置為從一個或多個消息源接收消息，并將接收到的消息傳送到一個或多個消息目的地，其中，消息目的地已經注冊了對消息的興趣(即訂閱)。因此，該方法可以包括由目標數據儲存庫訂閱來自消息服務的變化事件消息。