[發(fā)明專利]一種非對(duì)稱多副本的分布式事務(wù)處理方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110918456.6
• 申請(qǐng)日: 2021-08-11
• 公開（公告）號(hào): CN113821563A
• 公開（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: 張世明
• 申請(qǐng)（專利權(quán)）人: 貝格邁思（深圳）科技有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/22;G06F9/46
• 代理公司: 重慶百潤(rùn)洪知識(shí)產(chǎn)權(quán)代理有限公司 50219
• 代理人: 劉澤正

本發(fā)明涉及數(shù)據(jù)庫(kù)分區(qū)技術(shù)領(lǐng)域，具體涉及一種非對(duì)稱多副本的分布式事務(wù)處理方法及系統(tǒng)，對(duì)一個(gè)數(shù)據(jù)表的多個(gè)副本表按照不同的分區(qū)方法劃分若干分區(qū)，獲得多個(gè)副本表的分區(qū)，多個(gè)分區(qū)不均勻地分布在多個(gè)數(shù)據(jù)節(jié)點(diǎn)上，主表數(shù)據(jù)由同一個(gè)副本表劃分的多個(gè)分區(qū)內(nèi)的分片數(shù)據(jù)重構(gòu)；通過非對(duì)稱多副本機(jī)制同時(shí)具有數(shù)據(jù)分區(qū)系統(tǒng)和非分區(qū)系統(tǒng)的優(yōu)點(diǎn)和查詢優(yōu)化機(jī)制；可通過Raft機(jī)制恢復(fù)數(shù)據(jù)，確保數(shù)據(jù)的安全性；通過Raft機(jī)制能夠保證主表與多個(gè)副本表之間的數(shù)據(jù)一致性；同時(shí)能夠在跨副本事務(wù)中，解決事務(wù)沖突問題，保證事務(wù)的全局有序性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)分區(qū)技術(shù)領(lǐng)域，具體是一種非對(duì)稱多副本的分布式事務(wù)處理方法及系統(tǒng)。

背景技術(shù)

分布式數(shù)據(jù)庫(kù)必須將數(shù)據(jù)表進(jìn)行分區(qū)Partition或Shard分布式存儲(chǔ)，同時(shí)為了滿足數(shù)據(jù)高可用性和擴(kuò)展性的需求，需要對(duì)數(shù)據(jù)表進(jìn)行多副本復(fù)制Replication。分區(qū)Partition或Shard主要是為了可擴(kuò)展性，不同的分區(qū)Partition分配到不同的CPU或分布式系統(tǒng)上的不同節(jié)點(diǎn)。因此，大數(shù)據(jù)集可以分布在多個(gè)處理器或節(jié)點(diǎn)上，查詢負(fù)載可以分布在多個(gè)處理器或節(jié)點(diǎn)上。對(duì)于在單個(gè)分區(qū)上運(yùn)行的查詢，每個(gè)節(jié)點(diǎn)可以獨(dú)立執(zhí)行對(duì)自己的查詢。數(shù)據(jù)庫(kù)的多副本復(fù)制主要是為了高可用，即同一數(shù)據(jù)副本按照一定的策略復(fù)制到不同的處理器或不同節(jié)點(diǎn)上以獲得容錯(cuò)能力和讀性能水平擴(kuò)展性。因此，只要存在一個(gè)可用數(shù)據(jù)副本，數(shù)據(jù)就能夠恢復(fù)，通過分布到不同的處理器或節(jié)點(diǎn)上，同一份數(shù)據(jù)能夠在多個(gè)處理器或節(jié)點(diǎn)上同時(shí)供外部訪問。然而，大型復(fù)雜的查詢可能會(huì)跨越多個(gè)分區(qū)或多節(jié)點(diǎn)并行處理，多分區(qū)間的數(shù)據(jù)訪問成為影響系統(tǒng)性能的重要因素，特別是分布式事務(wù)的兩階段事務(wù)提交導(dǎo)致的額外數(shù)據(jù)網(wǎng)絡(luò)傳輸代價(jià)。

目前，絕大部分分布式數(shù)據(jù)庫(kù)系統(tǒng)的分區(qū)多副本機(jī)制，采用的是對(duì)稱多副本機(jī)制，即數(shù)據(jù)庫(kù)表的主數(shù)據(jù)和副本數(shù)據(jù)采用完全相同的數(shù)據(jù)分區(qū)算法，各分區(qū)副本按照相同的策略進(jìn)行多處理器或多節(jié)點(diǎn)分配。對(duì)稱多副本機(jī)制使分布式系統(tǒng)的事務(wù)一致性處理變得簡(jiǎn)單，所有數(shù)據(jù)分區(qū)具有冪等性，數(shù)據(jù)分區(qū)多副本也具有冪等性，事務(wù)調(diào)度和處理具有同等一致性，主數(shù)據(jù)分區(qū)和對(duì)應(yīng)的副本分區(qū)數(shù)據(jù)是完全相同的，數(shù)據(jù)分區(qū)被平均分配到不同的處理器或節(jié)點(diǎn)上，跨分區(qū)或跨節(jié)點(diǎn)的分布式事務(wù)處理變得很低效，分布式系統(tǒng)兩階段事務(wù)提交跨節(jié)點(diǎn)或跨分區(qū)的額外數(shù)據(jù)傳輸不可避免。(Lu,et al.,2019)提出了一種基于非對(duì)稱多副本復(fù)制機(jī)制，有效的改善了分布式系統(tǒng)的分布式事務(wù)處理性能。非對(duì)稱副本復(fù)制機(jī)制實(shí)現(xiàn)一種全數(shù)據(jù)節(jié)點(diǎn)和部分?jǐn)?shù)據(jù)節(jié)點(diǎn)協(xié)同存在的機(jī)制，全數(shù)據(jù)副本節(jié)點(diǎn)匯聚了同一數(shù)據(jù)表的所有分區(qū)，被分配在集群的一個(gè)節(jié)點(diǎn)上。然而，部分?jǐn)?shù)據(jù)副本節(jié)點(diǎn)只包含部分?jǐn)?shù)據(jù)分區(qū)副本，既可以是主分區(qū)，也可以是副索引分區(qū)。這樣，針對(duì)跨分區(qū)的事務(wù)查詢問題，被分配到全數(shù)據(jù)節(jié)點(diǎn)進(jìn)行處理，而不需要跨分區(qū)或節(jié)點(diǎn)進(jìn)行分布式事務(wù)處理，特別是對(duì)分布式系統(tǒng)兩階段事務(wù)提交有很好的改善，消除分布式事務(wù)處理性能瓶頸。針對(duì)單副本事務(wù)，可在多個(gè)部分副本節(jié)點(diǎn)的相應(yīng)數(shù)據(jù)分區(qū)上并行查詢，提高了系統(tǒng)性能。但是，這種非對(duì)稱數(shù)據(jù)副本機(jī)制，需要對(duì)數(shù)據(jù)表和數(shù)據(jù)副本采用相同的分區(qū)方式，只是數(shù)據(jù)分區(qū)副本的節(jié)點(diǎn)分配方式有所不同。針對(duì)OLTP和OLAP混合事務(wù)、多索引分區(qū)以及數(shù)據(jù)重分區(qū)等方面，該非對(duì)稱多副本復(fù)制機(jī)制卻不能進(jìn)行優(yōu)化。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是提供一種非對(duì)稱多副本的分布式事務(wù)處理方法及系統(tǒng)，能夠解決背景技術(shù)所提出的技術(shù)問題。

本發(fā)明的一種非對(duì)稱多副本的分布式事務(wù)處理方法，包括步驟：

對(duì)一個(gè)數(shù)據(jù)表的多個(gè)副本表按照不同的分區(qū)方法劃分若干分區(qū)，獲得多個(gè)副本表的分區(qū)，副本表的多個(gè)分區(qū)不均勻地分布在不同的數(shù)據(jù)節(jié)點(diǎn)上，同一副本表的全表數(shù)據(jù)可由同一個(gè)副本表的多個(gè)分區(qū)數(shù)據(jù)重構(gòu)，也可以通過其它副本表的分區(qū)數(shù)據(jù)重構(gòu)；

主表與多個(gè)副本表采用不同的分區(qū)方法和索引方式適應(yīng)不同的數(shù)據(jù)查詢?nèi)蝿?wù)；

主表的副本表與分區(qū)的副本表采用不同的數(shù)據(jù)查詢?nèi)蝿?wù)和不同的索引方式；

主表與多個(gè)副本表之間通過Raft共識(shí)算法保持一致性；