[發明專利]數據備份方法和裝置

有效

• 申請號: 201711460906.1
• 申請日: 2017-12-28
• 公開（公告）號: CN108196979B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 姜彥國;徐俊勁;白若蘭;劉志杰
• 申請（專利權）人: 北京星選科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/28
• 代理公司: 北京睿派知識產權代理事務所(普通合伙) 11597
• 代理人: 劉鋒

本申請提供了一種數據備份方法和裝置，該方法包括：將關系型數據庫保存的短期數據在數據倉庫進行備份，并將所述關系型數據庫的日志推送至Hadoop存儲集群進行備份；根據預設條件從所述數據倉庫備份的數據中篩選出遠期數據；將所述遠期數據從所述數據倉庫推送至所述Hadoop存儲集群進行保存。避免了遠期數據的丟失，并且可以利用保存的遠期數據和日志來將遠期數據恢復至任意時間點。

技術領域

本申請涉及互聯網技術，具體涉及一種數據備份方法和裝置。

背景技術

Hadoop是一個能夠對海量數據進行分布式處理的軟件框架，讓用戶輕松架構和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。并且可以很快的從一臺服務器擴展到幾千上萬臺服務器規模的集群，同時在軟件架構層面提供了更高的高可用性和容錯性。

Hadoop分布式文件系統(Hadoop Distributed File System，HDFS)被設計成適合運行在通用硬件上的分布式文件系統。HDFS有著高容錯性的特點，并且設計用來部署在低成本硬件上。而且它提供高吞吐量來訪問應用程序的數據，適合有著超大數據集的應用程序。HDFS可以實現流形式訪問文件系統中的數據。

MySQL是一種關系數據庫管理系統，關系數據庫將數據保存在不同的表中，而不是將所有數據放在一個大倉庫內，這樣就增加了速度并提高了靈活性。對MySQL數據庫的數據進行備份時，通常將MySQL數據備份在一個數據倉庫內，例如使用“mysqldump”命令或者“mysqlhotcopy”工具進行數據備份。當備份的數據量超過數據倉庫的存儲量時，遠期的備份數據會被新的備份數據覆蓋。

發明內容

本申請實施例提供了一種數據備份方法和裝置，以解決現有技術中遠期的備份數據會被覆蓋從而無法查詢的技術問題。

根據本申請實施例的一個方面，提供了一種數據備份方法，所述方法包括：將關系型數據庫保存的短期數據在數據倉庫進行備份，并將關系型數據庫的日志推送至Hadoop存儲集群進行備份；根據預設條件從數據倉庫備份的數據中篩選出遠期數據；將遠期數據從數據倉庫推送至Hadoop存儲集群進行保存。

在一個實施例中，所述數據備份方法還包括：接收與關系型數據庫對應的查詢請求；判斷查詢請求的目標數據是否屬于遠期數據；響應于查詢請求的目標數據為遠期數據，從Hadoop存儲集群查詢目標數據；響應于查詢請求的目標數據為短期數據，從數據倉庫查詢目標數據。

在一個實施例中，所述數據備份方法還包括：接收針對遠期數據的數據恢復請求，從Hadoop存儲集群獲取對應的遠期數據并恢復至關系型數據庫。

優選的，接收針對遠期數據的數據恢復請求，從Hadoop存儲集群獲取對應的遠期數據并恢復至所述關系型數據庫包括：

接收針對遠期數據的數據恢復請求，數據恢復請求要將第一時刻的遠期數據恢復至關系型數據庫；從Hadoop存儲集群獲取第二時刻的遠期數據，第二時刻早于第一時刻；從Hadoop存儲集群獲取遠期數據從第二時刻到第一時刻的日志；根據第二時刻的遠期數據執行日志，得到第一時刻的遠期數據；將第一時刻的遠期數據恢復至關系型數據庫。

在一個實施例中，根據預設條件從數據倉庫備份的數據中篩選出遠期數據包括：判斷數據的創建時間或者上一次更新時間距離當前時間是否長于預設門限；響應于創建時間或者上一次更新時間距離當前時間長于預設門限，判定所述數據屬于遠期數據。

根據本申請實施例的另一個方面，提供了一種數據備份裝置，所述裝置包括：備份模塊，用于將關系型數據庫保存的短期數據在數據倉庫進行備份，并將關系型數據庫的日志推送至Hadoop存儲集群進行備份；篩選模塊，用于根據預設條件從數據倉庫備份的數據中篩選出遠期數據；保存模塊，用于將遠期數據從數據倉庫推送至Hadoop存儲集群進行保存。