[發明專利]一種分層數據復制的大數據一致性維護方法

在審

• 申請號: 201410367869.X
• 申請日: 2014-07-30
• 公開（公告）號: CN104133886A
• 公開（公告）日: 2014-11-05
• 發明（設計）人: 戴鴻君;于治樓
• 申請（專利權）人: 浪潮集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 張靖

技術領域

本發明涉及一種分層數據復制的大數據一致性維護方法，屬于計算機大數據管理領域。

背景技術

數據一致性通常指關聯數據之間的邏輯關系是否正確和完整。而數據存儲的一致性模型則可以認為是存儲系統和數據使用者之間的一種約定。如果使用者遵循這種約定，則可以得到系統所承諾的訪問結果。?

常用的一致性模型有：

a、嚴格一致性（linearizability,?strict/atomic?Consistency）：讀出的數據始終為最近寫入的數據。這種一致性只有全局時鐘存在時才有可能，在分布式網絡環境不可能實現。

b、順序一致性（sequential?consistency）：所有使用者以同樣的順序看到對同一數據的操作，但是該順序不一定是實時的。

c、因果一致性（causal?consistency）：只有存在因果關系的寫操作才要求所有使用者以相同的次序看到，對于無因果關系的寫入則并行進行，無次序保證。因果一致性可以看做對順序一致性性能的一種優化，但在實現時必須建立與維護因果依賴圖，是相當困難的。

d、管道一致性（PRAM/FIFO?consistency）：在因果一致性模型上的進一步弱化，要求由某一個使用者完成的寫操作可以被其他所有的使用者按照順序的感知到，而從不同使用者中來的寫操作則無需保證順序，就像一個一個的管道一樣。?相對來說比較容易實現。

e、弱一致性（weak?consistency）：只要求對共享數據結構的訪問保證順序一致性。對于同步變量的操作具有順序一致性，是全局可見的，且只有當沒有寫操作等待處理時才可進行，以保證對于臨界區域的訪問順序進行。在同步時點，所有使用者可以看到相同的數據。

f、?釋放一致性（release?consistency）：弱一致性無法區分使用者是要進入臨界區還是要出臨界區，?釋放一致性使用兩個不同的操作語句進行了區分。需要寫入時使用者acquire該對象，寫完后release，acquire-release之間形成了一個臨界區，提供?釋放一致性也就意味著當release操作發生后，所有使用者應該可以看到該操作。

g、最終一致性（eventual?consistency）：當沒有新更新的情況下，更新最終會通過網絡傳播到所有副本點，所有副本點最終會一致，也就是說使用者在最終某個時間點前的中間過程中無法保證看到的是新寫入的數據。可以采用最終一致性模型有一個關鍵要求：讀出陳舊數據是可以接受的。

h、delta?consistency：系統會在delta時間內達到一致。這段時間內會存在一個不一致的窗口，該窗口可能是因為log?shipping的過程導致。數據一致性（Database?Consistency）是指事務執行的結果必須是使數據從一個一致性狀態變到另一個一致性狀態。

保證數據一致性是指當事務完成時，必須使所有數據都具有一致的狀態。在關系型數據中，所有的規則必須應用到事務的修改上，以便維護所有數據的完整性。

讀一致性也是數據一致性的一個重要方面，對一個表中的某些數據進行了更新操作，但是還沒有進行提交，這時另外一個用戶讀取表中數據，就出現了讀一致性的問題。

發明內容

本發明要解決的技術問題是：一種分層數據復制的大數據一致性維護方法。

本發明所采用的技術方案為：

一種分層數據復制的大數據一致性維護方法，基于索引的復制控制方法，所述方法將數據備份和備份的位置（即：索引）信息分別存儲，服務器被分為備份數據中心和索引數據中心，分別存儲數據的備份與備份的位置信息。

為了提高檢索速度，將索引拷貝為兩個，分別為讀和寫操作提供檢索服務。

兩個索引隊列間隔一定時間后進行通信以便保持一致性，加入日志表用于記錄執行過的寫操作，定時更新兩列索引加入時間戳，當數據可靠值相同時，根據時間戳讀取數據。

本發明的有益效果為：針對大數據一致性維護的實現，本發明提出一種基于索引的復制控制算法，將數據備份和備份的位置，即索引信息分別存儲，使算法適合大規模數據讀寫操作，且代價較低。

附圖說明

圖1為本發明大數據一致性維護方法的示意圖。

具體實施方式

下面通過附圖，結合具體實施方式對本發明進一步說明：

實施例1：