[發明專利]一種數據實時同步方法及系統

在審

• 申請號: 201810103725.1
• 申請日: 2018-02-01
• 公開（公告）號: CN108763234A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 吳前東
• 申請（專利權）人: 寶付網絡科技（上海）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海海鈞知識產權代理事務所(特殊普通合伙) 31330
• 代理人: 張曉煜

本發明公開了一種數據實時同步方法，其包括以下步驟：S10：實時獲取原始數據所在數據庫的增量日志；S20：對所述增量日志進行數據接入處理；S30：對所述數據接入處理得到的數據進行數據提取處理；S40：對所述數據提取處理得到的數據進行數據轉換處理；S50：對所述數據轉換處理得到的數據進行數據載入處理，從而將所述原始數據實時同步至數據平臺、分布式數據庫以及分布式文件系統中的一種或多種。此外，還公開了相應的系統。本發明能將原始數據實時同步至其它數據存儲系統，使得原本需要訪問原始數據的操作可以在其它數據存儲系統上完成，從而解決原始數據訪問的瓶頸問題，滿足實時分析的需求。

技術領域

本發明涉及一種數據同步方法及系統，尤其涉及一種數據實時同步方法及系統。

背景技術

現有的業務系統數據一般存儲在關系型數據庫中，比如mysql、oracle等。關系數據庫是建立在關系模型基礎上的數據庫，借助于集合代數等數學概念和方法來處理數據庫中的數據。關系模型就是指二維表格模型，因而一個關系型數據庫就是由二維表及其之間的聯系組成的一個數據組織。關系模型由關系數據結構、關系操作集合、關系完整性約束三部分組成。標準數據查詢語言SQL就是一種基于關系數據庫的語言，這種語言執行對關系數據庫中數據的檢索和操作。

隨著互聯網的飛速發展，人類社會的數據量迅速激增，據統計目前人類一年產生的數據就相當于人類進入現代化以前所有歷史的總和，而且互聯網業務的發展通常具有爆發性，業務量很可能在短短的一個月內突然爆發式地增長幾千倍，對應的數據也很可能快速地從原來的幾百GB飛速上漲到了幾百個TB。以電商網站為例，在網站創建之初，日均訪問量可能只有幾百到幾千人，這時整個業務后臺可能就一個數據庫，所有業務表都放在這個數據庫中，一臺普通的服務器就可以支撐，而且這種架構對業務開發人員也非常友好，因為所有的表都在一個庫中，這樣查詢語句就可以靈活關聯了，使用起來很便捷。但是隨著業務的不斷發展，每天訪問網站的人越來越多，數據庫的壓力也越來越大，數據庫的瓶頸越來越突出。當業務數據量達到一定的數量時，而業務又需要去檢索、分析這些在關系型數據庫中的數據，會發現計算效率非常低下。業界通常采用離線遷移方法，但是這樣數據會有很大的延遲，不滿足需要實時分析的需求，因此，需要一種能夠實時地同步數據的方法和系統，把數據實時同步到不同的平臺使用。

發明內容

針對目前存在的問題，本發明提供了一種數據實時同步方法及系統，其能將原始數據實時同步至其它數據存儲系統，使得原本需要訪問原始數據的操作可以在其它數據存儲系統上完成，從而解決原始數據訪問的瓶頸問題，滿足實時分析的需求。

本發明第一個方面提供了一種數據實時同步方法，其包括以下步驟：

S10：實時獲取原始數據所在數據庫的增量日志；

S20：對所述增量日志進行數據接入處理；

S30：對所述數據接入處理得到的數據進行數據提取處理；

S40：對所述數據提取處理得到的數據進行數據轉換處理；

S50：對所述數據轉換處理得到的數據進行數據載入處理，從而將所述原始數據實時同步至數據平臺、分布式數據庫以及分布式文件系統中的一種或多種。

本發明所述的數據實時同步方法，其通過實時獲取原始數據的增量日志，并依次進行數據接入、數據提取、數據轉換以及數據載入處理，將所述原始數據實時同步至其它數據存儲系統，包括數據平臺、分布式數據庫以及分布式文件系統(DFS)中的一種或多種，從而將原始數據實時同步至上述其它數據存儲系統，使得原本需要訪問原始數據的操作可以在其它數據存儲系統上完成，從而解決原始數據訪問的瓶頸問題。