[發(fā)明專利]基于日志解析的插入操作同步優(yōu)化方法和數(shù)據(jù)同步系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010328622.2
• 申請日: 2020-04-23
• 公開（公告）號: CN111737341A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計）人: 付銓;黃海明;孫峰;余院蘭
• 申請（專利權(quán)）人: 武漢達(dá)夢數(shù)據(jù)庫有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/17
• 代理公司: 深圳市六加知識產(chǎn)權(quán)代理有限公司 44372
• 代理人: 向彬

1.一種基于日志解析的插入操作同步優(yōu)化方法，其特征在于，所述插入操作同步優(yōu)化方法包括：

判斷待同步事務(wù)是否是針對待執(zhí)行表的插入操作；

若是，則根據(jù)所述待執(zhí)行表的字典信息，判斷所述待執(zhí)行表是否存在列定義不帶默認(rèn)值或者列定義的默認(rèn)值為空值的目標(biāo)列；

若存在，則分析所述待同步事務(wù)的各個插入操作，獲取插入值為空值的目標(biāo)列在各個插入操作的分布情況；

當(dāng)插入值為空值的目標(biāo)列的分布情況滿足設(shè)定條件時，在原有插入操作的基礎(chǔ)上，將與插入值為空值的目標(biāo)列相關(guān)的語句刪除，重新生成目標(biāo)插入操作，根據(jù)所述目標(biāo)插入操作進(jìn)行數(shù)據(jù)同步。

2.根據(jù)權(quán)利要求1所述的插入操作同步優(yōu)化方法，其特征在于，判斷所述待執(zhí)行表是否存在列定義不帶默認(rèn)值或者列定義的默認(rèn)值為空值的目標(biāo)列之后還包括：

若存在，則計算所述待同步事務(wù)的第一個插入操作中，插入值為空值的目標(biāo)列的占比率；

判斷所述占比率是否大于設(shè)定值；

若所述占比率大于設(shè)定值，則執(zhí)行分析所述待同步事務(wù)的各個插入操作，獲取插入值為空值的目標(biāo)列在各個插入操作的分布情況的步驟。

3.根據(jù)權(quán)利要求1所述的插入操作同步優(yōu)化方法，其特征在于，所述分析所述待同步事務(wù)中的各個插入操作，插入值為空值的目標(biāo)列在各行的分布情況包括：

步驟A：分析所述待同步事務(wù)中的第一個插入操作，繪制插入值為空值的目標(biāo)列在整行的分布情況，得到第一分布標(biāo)記組；

步驟B：分析所述待同步事務(wù)的第N個插入操作，繪制插入值為空值的目標(biāo)列在整行的分布情況，得到第N分布標(biāo)記組，其中，N表示插入操作在所述待同步事務(wù)中的排列序號，N的初始值為2；

步驟C：判斷所述第一分布標(biāo)記組和所述第N分布標(biāo)記組是否一致；

步驟D：若一致，則設(shè)置N＝N+1后，依次執(zhí)行步驟B和步驟C，以得到插入值為空值的目標(biāo)列在各個插入操作的分布情況。

4.根據(jù)權(quán)利要求3所述的插入操作同步優(yōu)化方法，其特征在于，所述插入操作同步優(yōu)化方法包括：

當(dāng)步驟D執(zhí)行完成后，所述待同步事務(wù)結(jié)束，則插入值為空值的目標(biāo)列在各個插入操作的分布完全一致；

當(dāng)步驟D執(zhí)行完成后，所述待同步事務(wù)中存在未被分析的插入操作，則插入值為空值的目標(biāo)列在各個插入操作中的分布不完全一致。

5.根據(jù)權(quán)利要求4所述的插入操作同步優(yōu)化方法，其特征在于，所述插入操作同步優(yōu)化方法包括：

當(dāng)插入值為空值的目標(biāo)列在各個插入操作的分布完全一致時，在原有插入操作的基礎(chǔ)上，將與插入值為空值的目標(biāo)列相關(guān)的語句刪除，重新生成目標(biāo)插入操作，根據(jù)所述目標(biāo)插入操作進(jìn)行數(shù)據(jù)同步；

當(dāng)插入值為空值的目標(biāo)列在各個插入操作的分布不完全一致時，根據(jù)所述待同步事務(wù)中原有的插入操作進(jìn)行數(shù)據(jù)同步。

6.根據(jù)權(quán)利要求3所述的插入操作同步優(yōu)化方法，其特征在于，所述插入操作同步優(yōu)化方法包括：

當(dāng)步驟D執(zhí)行完成后，獲取已經(jīng)完成分布標(biāo)記組分析的插入操作的數(shù)目，標(biāo)記為M1；

獲取所述待同步事務(wù)中所包含的插入操作的總數(shù)目，標(biāo)記為M2；

判斷M2與M1的差值是否小于預(yù)設(shè)的閾值；

若小于，則按照如下方式進(jìn)行數(shù)據(jù)同步：

針對前M1個插入操作，在原有插入操作的基礎(chǔ)上，將與插入值為空值的目標(biāo)列相關(guān)的語句刪除，重新生成目標(biāo)插入操作，根據(jù)所述目標(biāo)插入操作進(jìn)行數(shù)據(jù)同步；

針對其余的插入操作，根據(jù)原有的插入操作進(jìn)行數(shù)據(jù)同步。