[發明專利]一種大數據系統中數據備份方法、恢復方法和裝置

在審

• 申請號: 201610600428.9
• 申請日: 2016-07-27
• 公開（公告）號: CN107665153A
• 公開（公告）日: 2018-02-06
• 發明（設計）人: 謝東
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京銀龍知識產權代理有限公司11243
• 代理人: 許靜,黃燦

技術領域

本發明涉及通信技術領域，特別涉及一種大數據系統中數據備份方法、恢復方法和裝置。

背景技術

在通信系統中，數據庫是數據存儲和管理中心。各種數據被采集來之后，經過分類、清洗、檢驗和規范化處理后，源源不斷地進入數據庫。在系統日常運行過程中，一些階段性的數據需要長期保存下來。例如：用戶賬單將作為重要憑證，具有重要用途；當月月統計報表數據作為決策參考依據，需要被保存下來。因此，這些數據的備份與恢復是一項重要的基本工作。

數據庫系統分關系型數據庫和非關系型數據庫。關系型數據庫具有嚴密的數學理論基礎，數據庫廠商通常都提供了完整的備份恢復方案。例如：Oracle數據庫備份恢復技術特點是這樣的：

1、數據庫系統維護內部時鐘，自動產生系統更改號，這個號碼具有全局唯一性，被順序分配，隨數據庫運行自動增長。

2、數據備份：首先獲取當前系統更改號，基于此號碼，系統以快照的方式，將整個數據庫或者表的數據完整地保存到備份文件中，在備份期間，系統發生的變更稱為增量數據，不會被寫入備份文件。

3、數據恢復：打開備份文件，讀取備份文件的內容，寫入數據庫。數據庫中沒有的內容，將會被創建；數據庫中已經有的內容，將會被覆蓋。

對于那些數據結構復雜，數據量大的情況，統稱為大數據。面對這種類型數據，傳統的關系型數據庫系統在對大數據進行處理時顯得越來越困難，于是產生了非關系型數據庫，用于大數據處理。非關系型數據庫大多是開源項目，目前還缺乏完善的數學理論基礎，沒有統一的行業標準。由于大數據的特點，這些非關系型數據庫沒有提供有效的數據庫備份方案。

在實現本發明的過程中，發明人發現在大數據系統中數據備份和恢復，至少存在以下難題需要解決：

1、備份數據量大

大數據系統中，整體數據量往往非常龐大，且在不斷擴展。如果選擇整體數據備份，則需要的時間成本、存儲成本都很高，所以很難滿足實際需求。需要一種劃分數據的方案，每次不對整體數據備份，又能實現備份的作用，保證數據的有效性。

2、數據備份恢復過程耗時長

在大數據系統中，目前還沒有有效的備份恢復方法。是否可以借鑒關系型數據庫的備份恢復方法呢？由于非關系型數據庫往往不滿足數據一致性要求，因此關系型數據庫的備份恢復方法不能直接拿來使用。需要一種備份恢復方法，適用這種數據特點。如果直接使用關系型數據庫的備份恢復方法，則每次備份恢復過程耗時長，正常使用的時間窗口就小，系統可用性低。

3、備份數據的價值密度低

大數據系統中，雖然整體數據量往往非常龐大，但是各個部分數據價值不一樣。某些對象很重要，備份價值大；某些時刻很重要，備份價值大。如果不加區分，將所有數據各種時刻數據都備份出來，備份數據的價值密度低。重要對象在關鍵時刻的數據最重要，這些數據備份的價值密度最高，最需要備份。相反，不重要的對象在不重要的時刻的數據，就沒必要備份了。

針對這種情況，發明人通過深入研究發現：在大數據系統中，由于數據庫上面承載的是應用系統，如果結合數據庫和應用系統整體來考慮備份恢復方案，則更具有實際意義。具體的來說，在通信系統中，在某些關鍵業務環節的重點個體的數據非常重要，需要備份。例如：在消費系統中，對于某個用戶，如果存入話費，話費總額會發生變動，用戶往往需要對當前賬單做一個匯總，作為消費憑據。今后，隨著新的消費，該賬戶的余額將變化。因此，用戶每次繳費后就需要做一次數據備份。如果我們借鑒關系型數據庫備份的方法，可以先找到涉及該賬號當前資金相關的所有表，然后將表中該賬號相關數據提取出來，進行備份。相對于數據庫整體備份方案或者數據表整體備份方案，該方法具有消耗時間更短，備份結果集更小，操作靈活的益處。如果需要恢復數據，可以首先提取該賬號在某個時刻的備份結果集，然后分別倒入對應的表。從而實現大數據系統中數據有效備份和恢復。

發明內容

本發明實施例的目的在于提供一種大數據系統中數據備份方法、恢復方法和裝置，解決了現有備份方法存在備份數據的價值密度低、備份恢復過程耗時長和存儲成本高的問題。

為了達到上述目的，本發明實施例提供一種大數據系統中數據備份方法，包括：

接收備份指令，所述備份指令中至少包括備份對象的標識信息；

使用所述標識信息獲取所述備份對象的配置信息，所述配置信息用于確定所述備份對象的備份數據來自應用程序或者外部數據存儲系統；

使用所述配置信息從所述應用程序或者所述外部數據存儲系統獲取所述備份數據；

將所述備份數據保存。