[發明專利]一種基于消息隊列的異步數據備份方法

在審

• 申請號: 201710081470.9
• 申請日: 2017-02-15
• 公開（公告）號: CN106874145A
• 公開（公告）日: 2017-06-20
• 發明（設計）人: 郭鳳;徐兵兵;丁慶申;董志鵬
• 申請（專利權）人: 山東浪潮商用系統有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 孟峣

技術領域

本發明涉及大數據技術領域，具體地說是一種基于消息隊列的異步數據備份方法。

背景技術

隨著大數據時代的到來，人們越來越多的意識到數據對企業的重要性。在這個“數據即資產”的時代，如何利用數據備份來保證數據安全也成為我們迫切需要解決的難題。傳統的數據備份方案大多依賴于數據庫的冗余模式(主從庫)，其缺點如下：

依賴于特定的數據庫平臺，不能滿足不同應用場景數據備份需求。

采用主從庫之間的數據復制模式，當主庫因誤操作執行清除數據操作時，存在數據丟失的風險。

局限于結構化數據，很難支持半結構化、非結構化數據的備份需求。

為了克服上述現有技術的不足，本發明提供了一種基于消息隊列的數據備份方案，解決全品類數據備份的難題。

發明內容

本發明的技術任務是針對以上不足之處，提供一種基于消息隊列的異步數據備份方法。

一種基于消息隊列的異步數據備份方法，其實現過程為：

首先通過客戶端發起數據寫入請求；

然后由備份服務器讀取請求消息并生成本地文件，該本地文件為臨時文件，達到最大容量限制后輸出數據文件；

最后將本地文件上傳至ftp文件備份服務器，完成備份過程。

在客戶端發起數據寫入請求時，首先需要通過業務接口讀取并判斷是否開啟備份開關配置，如果文件備份開關為開啟狀態，則將數據寫入消息隊列中。

備份服務器通過持續讀取消息隊列來生成本地數據文件，具體過程為：

備份服務器讀取消息隊列，判斷是否有新消息，如果沒有則休眠10s后繼續讀取，如有新消息，則讀取消息內容，調用文件寫入接口；

文件寫入接口判斷是否需要生成新文件：

如果不需要生成新文件，則追加寫入文件內容，即采用追加的方式寫入文件內容，結構化數據寫文本文件，一行寫一條數據，非結構化數據寫二進制文件，以TLV格式寫入文件內容，單個數據文件寫入數據時以加鎖的方式控制并發訪問；

如果需要生成新數據文件，則需先將臨時文件輸出至本地目錄，然后將文件備份結果寫記錄，最后生成新的臨時文件，寫入文件內容。

在上述步驟中生成的新數據文件采用如下規則命名：表名+主機ip第四段+日期+主鍵，并以后綴的方式區分臨時文件及數據文件，新生成的臨時文件以.tmp為后綴；已寫入完成的數據文件以.data為后綴。

所述文件備份結果寫記錄在備份文件結果記錄模塊中，該模塊用于統計分析、數據比對，并根據存儲記錄，文件恢復時快速定位備份文件，該備份文件結果記錄模塊中記錄的內容包括ID；日期；備份文件類型；業務表名；備份文件名；文件大小，單位為MB；記錄數，即文件數據條數；創建時間，即輸出數據文件的時間；是否已上傳，即用于標識文件是否已上傳至ftp服務器，0表示否，1表示是；上傳時間；ftp文件備份服務器主機ip；文件存放主目錄；是否已刪除，用于標識文件是否已從ftp服務器刪除，0表示否，1表示是。

將本地文件上傳至ftp文件備份服務器的具體過程為：

首先掃描本地文件目錄，判斷是否存在數據文件，如果不存在則休眠10分鐘后繼續掃描；

如果存在待上傳的數據文件，則統計ftp文件備份服務器存儲使用情況，判斷是否達到存儲上限；

如果達到存儲上限則刪除文件，釋放空間，實現數據滾動存儲，刪除規則為一次刪除一天的數據，優先刪除最早日期的數據；

最后將本地數據文件上傳至ftp文件備份服務器，上傳成功后更新相關記錄信息并刪除本地文件。

所述ftp文件備份服務器數據存儲規劃根據不同的文件類型，通過設置時間、容量兩個維度進行控制，如果存儲時間或者容量任一維度達到閾值限制，則進行滾動存儲。

本發明的一種基于消息隊列的異步數據備份方法和現有技術相比，具有以下有益效果：