[發(fā)明專利]一種高效實現(xiàn)主副本數(shù)據(jù)完全一致性的方法

在審

• 申請?zhí)枺?/td>: 202011278277.2
• 申請日: 2020-11-16
• 公開（公告）號: CN112306756A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設計）人: 趙偉;李卓印;程學賀;劉秀鵬
• 申請（專利權）人: 天津南大通用數(shù)據(jù)技術股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/27
• 代理公司: 天津企興智財知識產(chǎn)權代理有限公司 12226
• 代理人: 李彥彥

1.一種高效實現(xiàn)主副本數(shù)據(jù)完全一致性的方法，其特征在于，包括以下方法：

S1、解析DML任務后掃描相關表的數(shù)據(jù)；

S2、根據(jù)設定的關聯(lián)條件逐條生成結果集；

S3、把結果集組成數(shù)據(jù)塊；

S4、本地立即存儲完成的數(shù)據(jù)塊；

S5、依照存儲順序給數(shù)據(jù)塊編號；

S6、把數(shù)據(jù)塊加入異步發(fā)送隊列；

S7、本地處理完所有數(shù)據(jù)塊；

S8、確認備份節(jié)點存儲完所有數(shù)據(jù)塊。

2.根據(jù)權利要求1所述的一種高效實現(xiàn)主副本數(shù)據(jù)完全一致性的方法，其特征在于，步驟S6中把數(shù)據(jù)塊加入異步發(fā)送隊列包括以下方法：

A1、異步處理模塊發(fā)送數(shù)據(jù)塊到備份節(jié)點；

A2、備份節(jié)點接受數(shù)據(jù)塊；

A3、依照順序存儲數(shù)據(jù)塊；

A4、返回確認信息。

3.根據(jù)權利要求1所述的一種高效實現(xiàn)主副本數(shù)據(jù)完全一致性的方法，其特征在于：最耗時的DML的數(shù)據(jù)掃描和拼接過程只在主節(jié)點上執(zhí)行，在主節(jié)點執(zhí)行過程中，數(shù)據(jù)塊首先存儲在本地，同時把產(chǎn)生的數(shù)據(jù)塊立即發(fā)送給備份節(jié)點，備份節(jié)點不需要重復執(zhí)行相似的邏輯，直接接收主節(jié)點的數(shù)據(jù)并存儲。

4.根據(jù)權利要求1所述的一種高效實現(xiàn)主副本數(shù)據(jù)完全一致性的方法，其特征在于：主節(jié)點給數(shù)據(jù)塊編號，保證和本地存儲順序一致，向備份節(jié)點異步發(fā)送數(shù)據(jù)塊，不等待備份節(jié)點存儲完，備份節(jié)點異步處理接收到的數(shù)據(jù)，依據(jù)數(shù)據(jù)塊編號順序存儲，最后，回應主節(jié)點。

5.根據(jù)權利要求1所述的一種高效實現(xiàn)主副本數(shù)據(jù)完全一致性的方法，其特征在于：備份節(jié)點只接收主節(jié)點的數(shù)據(jù)，沒有執(zhí)行過程，減少了備份節(jié)點的CPU和IO壓力，因為執(zhí)行結果是在一個節(jié)點上生成的，能夠保證主備節(jié)點數(shù)據(jù)的一致。

6.根據(jù)權利要求1所述的一種高效實現(xiàn)主副本數(shù)據(jù)完全一致性的方法，其特征在于：主節(jié)點處理完全部數(shù)據(jù)后，需要等待備份節(jié)點也處理完全部數(shù)據(jù)，在雙方都完成任務后，主節(jié)點想客戶端返回執(zhí)行結果。