[發(fā)明專利]一種分布式數(shù)據(jù)庫中數(shù)據(jù)恢復(fù)方法、相關(guān)設(shè)備和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710141671.3
• 申請日: 2017-03-10
• 公開（公告）號: CN108572976A
• 公開（公告）日: 2018-09-25
• 發(fā)明（設(shè)計）人: 陶維忠;李玉華
• 申請（專利權(quán)）人: 華為軟件技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本發(fā)明實施例公開了分布式數(shù)據(jù)庫的數(shù)據(jù)恢復(fù)方法、相關(guān)設(shè)備和系統(tǒng)。數(shù)據(jù)節(jié)點接收備升主指令，根據(jù)備升主指令的指示將對應(yīng)的數(shù)據(jù)分片變更為主本狀態(tài)，將該主本狀態(tài)的數(shù)據(jù)分片和關(guān)聯(lián)的副本狀態(tài)的數(shù)據(jù)分片之間以增量方式進行日志同步和日志重演，使各個副本狀態(tài)的數(shù)據(jù)分片追平主本狀態(tài)的數(shù)據(jù)分片的數(shù)據(jù)。采用本發(fā)明實施例，通過日志緩存和增量同步能迅速的恢復(fù)數(shù)據(jù)節(jié)點上的數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫領(lǐng)域，尤其涉及一種分布式數(shù)據(jù)庫中數(shù)據(jù)恢復(fù)方法、相關(guān)設(shè)備和系統(tǒng)。

背景技術(shù)

在分布式數(shù)據(jù)庫系統(tǒng)中，為了提高數(shù)據(jù)節(jié)點上數(shù)據(jù)分片的容災(zāi)能力，通常會在多個不同的數(shù)據(jù)節(jié)點上設(shè)置多個副本，在工作過程中主本和副本需要保持同步，多副本的存在是提升一個分布式數(shù)據(jù)庫系統(tǒng)可靠性、可用性、性能以及可擴展性的必要手段。業(yè)界實現(xiàn)主本和副本之間的復(fù)制方式有3種：全同步復(fù)制，半同步復(fù)制，異步復(fù)制。采用全同步復(fù)制雖然能保證副本間的一致性，但影響可用性，較大限制分區(qū)容錯性，并且增加請求處理時延。半同步復(fù)制技術(shù)相對異步復(fù)制，完成單條事務(wù)增加額外的等待延遲，相對全同步復(fù)制，重演會有延遲，而且從節(jié)點失效，或者主從間網(wǎng)絡(luò)異常，會導(dǎo)致主點被凍結(jié)。因此對于時延要求很高的分布式數(shù)據(jù)庫系統(tǒng)一般采用異步。異步同步的方式犧牲部分副本間的一致性，而且在故障時可能導(dǎo)致短暫少量的數(shù)據(jù)丟失，但有具備較好的可用性和分區(qū)容錯性。

在數(shù)據(jù)節(jié)點集群中某個數(shù)據(jù)節(jié)點發(fā)生故障后，元數(shù)據(jù)服務(wù)器根據(jù)發(fā)生故障的數(shù)據(jù)分片的副本，將新主本切換到其他副本節(jié)點。由于在異步復(fù)制場景下，由于消息發(fā)出后不等待接收直接返回的，如果存在網(wǎng)絡(luò)時延、閃斷等各種原因，將可能導(dǎo)致各個副本之間進度不一致。在分布式數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)節(jié)點發(fā)生故障的情況下，如何恢復(fù)和同步數(shù)據(jù)節(jié)點上數(shù)據(jù)分片的數(shù)據(jù)是目前研究的熱點。

發(fā)明內(nèi)容

本發(fā)明實施例所要解決的技術(shù)問題在于，提供一種分布式數(shù)據(jù)庫系統(tǒng)中數(shù)據(jù)恢復(fù)方法，實現(xiàn)了在數(shù)據(jù)節(jié)點發(fā)生故障的情況下，快速的恢復(fù)和同步數(shù)據(jù)節(jié)點上的數(shù)據(jù)分片。

第一方面，本發(fā)明實施例提供的一種分布式數(shù)據(jù)庫系統(tǒng)中數(shù)據(jù)恢復(fù)方法，分布式數(shù)據(jù)庫系統(tǒng)包括數(shù)據(jù)節(jié)點集群和管理節(jié)點，管理節(jié)點用于管理數(shù)據(jù)節(jié)點集群，以及存放數(shù)據(jù)節(jié)點集群的元數(shù)據(jù)。數(shù)據(jù)節(jié)點集群包括多個數(shù)據(jù)節(jié)點，每個數(shù)據(jù)節(jié)點包括多個數(shù)據(jù)分片，數(shù)據(jù)分片存儲有具體的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)分片根據(jù)冗余配置分為兩種狀態(tài)：副本狀態(tài)和主本狀態(tài)，在數(shù)據(jù)節(jié)點集群上一個主本狀態(tài)的數(shù)據(jù)分片關(guān)聯(lián)至少一個副本狀態(tài)的數(shù)據(jù)分片，主本狀態(tài)的數(shù)據(jù)分片以及關(guān)聯(lián)的各個副本狀態(tài)的數(shù)據(jù)分片通常設(shè)置在不同的數(shù)據(jù)節(jié)點上。例如：數(shù)據(jù)分片1為主本狀態(tài)，數(shù)據(jù)分片1關(guān)聯(lián)的副本狀態(tài)的數(shù)據(jù)分片為數(shù)據(jù)分片1a、數(shù)據(jù)分片1b和數(shù)據(jù)分片1c，數(shù)據(jù)分片1設(shè)置在數(shù)據(jù)節(jié)點1上，數(shù)據(jù)分片1a設(shè)置在數(shù)據(jù)節(jié)點2上，數(shù)據(jù)分片1b設(shè)置在數(shù)據(jù)節(jié)點3上，數(shù)據(jù)分片1c設(shè)置在數(shù)據(jù)節(jié)點4上。下面以數(shù)據(jù)節(jié)點集群中的第一數(shù)據(jù)節(jié)點來說明數(shù)據(jù)恢復(fù)過程：管理節(jié)點可存儲有第一數(shù)據(jù)節(jié)點上包括的數(shù)據(jù)分片的狀態(tài)，管理節(jié)點檢測到第一數(shù)據(jù)節(jié)點發(fā)生故障的情況下，確定第一數(shù)據(jù)節(jié)點上包括的一個或多個主本狀態(tài)的數(shù)據(jù)分片，對于任意一個主本狀態(tài)的數(shù)據(jù)分片，管理節(jié)點預(yù)先存儲有數(shù)據(jù)分片和數(shù)據(jù)分片之間的映射關(guān)系，管理節(jié)點可根據(jù)上述的映射關(guān)系查詢與主本狀態(tài)的數(shù)據(jù)分片關(guān)聯(lián)的至少一個副本狀態(tài)的數(shù)據(jù)分片，以及獲取每個副本狀態(tài)的數(shù)據(jù)分片的DCN(DataChange Number，數(shù)據(jù)變更序號，簡稱DCN)，數(shù)據(jù)分片的DCN表示數(shù)據(jù)分片上最新的日志的序號，數(shù)據(jù)分片每接收到一個事務(wù)請求，根據(jù)事務(wù)請求的操作過程生成日志，將日志存儲在數(shù)據(jù)分片的環(huán)形日志隊列中，以及將數(shù)據(jù)分片當(dāng)前的DCN加1。管理節(jié)點從至少一個副本狀態(tài)的數(shù)據(jù)分片中確定DCN最大的數(shù)據(jù)分片，根據(jù)數(shù)據(jù)分片與數(shù)據(jù)節(jié)點的映射關(guān)系確定該DCN最大的數(shù)據(jù)分片所在的第二數(shù)據(jù)節(jié)點，管理節(jié)點向第二數(shù)據(jù)節(jié)點發(fā)送備升主指令，備升主指令用于指示第二數(shù)據(jù)節(jié)點將該DCN最大的數(shù)據(jù)分片由副本狀態(tài)切換為主本狀態(tài)。