[發(fā)明專利]一種oracle與MySQL數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步的優(yōu)化方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211022332.0
• 申請(qǐng)日: 2022-08-25
• 公開(kāi)（公告）號(hào): CN115408470A
• 公開(kāi)（公告）日: 2022-11-29
• 發(fā)明（設(shè)計(jì)）人: 王翠;趙冬陽(yáng);李國(guó)濤
• 申請(qǐng)（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/28;G06F16/22
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 姜鵬

1.一種oracle與MySQL數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步的優(yōu)化方法，其特征在于：所述ORACLE與MYSQL數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步的優(yōu)化方法包括以下步驟：

設(shè)置任務(wù)表，用于存儲(chǔ)源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的信息；

配置需要同步的數(shù)據(jù)表，設(shè)置最大線程數(shù)M和每個(gè)線程數(shù)最大的處理記錄數(shù)N；

輪詢?nèi)蝿?wù)表，當(dāng)開(kāi)始時(shí)間到了之后，執(zhí)行數(shù)據(jù)同步；

獲取源數(shù)據(jù)表中的數(shù)據(jù)量；

根據(jù)配置的M和N獲取線程數(shù)；

對(duì)每一個(gè)線程執(zhí)行同步流程，更改任務(wù)表信息。

2.根據(jù)權(quán)利要求1所述的一種oracle與MySQL數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步的優(yōu)化方法，其特征在于：設(shè)置任務(wù)表時(shí)，

任務(wù)表包含源和目的數(shù)據(jù)庫(kù)信息，包括數(shù)據(jù)庫(kù)類型、數(shù)據(jù)庫(kù)連接登錄信息、數(shù)據(jù)表信息、數(shù)據(jù)同步時(shí)間、同步結(jié)束時(shí)間和同步結(jié)果，主要是存儲(chǔ)需要同步數(shù)據(jù)的數(shù)據(jù)庫(kù)信息，包括源數(shù)據(jù)庫(kù)oracle和數(shù)據(jù)表，目的數(shù)據(jù)庫(kù)mysql和數(shù)據(jù)表，同步時(shí)間，結(jié)束時(shí)間等信息。

3.根據(jù)權(quán)利要求2所述的一種oracle與MySQL數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步的優(yōu)化方法，其特征在于：輪詢?nèi)蝿?wù)表時(shí)，

當(dāng)觸發(fā)表的開(kāi)始同步時(shí)間后，轉(zhuǎn)至下一步，進(jìn)行數(shù)據(jù)同步準(zhǔn)備，當(dāng)同步時(shí)間未到時(shí)，不做任何處理，繼續(xù)輪詢?nèi)蝿?wù)表，直至到達(dá)設(shè)定的同步時(shí)間。

4.根據(jù)權(quán)利要求3所述的一種oracle與MySQL數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步的優(yōu)化方法，其特征在于：計(jì)算需要的線程數(shù)時(shí)，

當(dāng)數(shù)據(jù)量X小于最大處理數(shù)N時(shí)，自動(dòng)分配一個(gè)線程處理；

當(dāng)數(shù)據(jù)量X大于最大處理數(shù)N，并且X/N小于等于S1中設(shè)定的最大使用線程數(shù)M時(shí)，自動(dòng)分配X/N向上取整的線程；

當(dāng)數(shù)據(jù)量X/N大于最大使用線程數(shù)M時(shí)，自動(dòng)分配M個(gè)線程。當(dāng)有線程處理任務(wù)完成時(shí)，會(huì)自動(dòng)回收線程，并再次分配任務(wù)，直至任務(wù)分配并執(zhí)行完畢，所有的線程回收；

每個(gè)線程依次執(zhí)行同步流程。

5.根據(jù)權(quán)利要求4所述的一種oracle與MySQL數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步的優(yōu)化方法，其特征在于：線程執(zhí)行同步流程時(shí)，

查詢表數(shù)據(jù)，并把結(jié)果落入文件；

落入文件結(jié)束后,禁止數(shù)據(jù)表的索引；

通過(guò)load data把文件導(dǎo)入到數(shù)據(jù)表；

啟用數(shù)據(jù)表的索引；

釋放線程。

6.一種如上述權(quán)利要求1-5任意一項(xiàng)所述的oracle與MySQL數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步的優(yōu)化系統(tǒng)，其特征在于：該系統(tǒng)由制表模塊、配置模塊、輪詢模塊、源數(shù)據(jù)獲取模塊、線程數(shù)獲取模塊以及同步模塊構(gòu)成；

制表模塊，用于設(shè)置任務(wù)表，用于存儲(chǔ)源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的信息；

配置模塊，用于配置需要同步的數(shù)據(jù)表，設(shè)置最大線程數(shù)M和每個(gè)線程數(shù)最大的處理記錄數(shù)N；

輪詢模塊，用于輪詢?nèi)蝿?wù)表，當(dāng)開(kāi)始時(shí)間到了之后，執(zhí)行數(shù)據(jù)同步；

源數(shù)據(jù)獲取模塊，用于獲取源數(shù)據(jù)表中的數(shù)據(jù)量；

線程數(shù)獲取模塊，用于根據(jù)配置的M和N獲取線程數(shù)；

同步模塊，用于對(duì)每一個(gè)線程執(zhí)行同步流程，更改任務(wù)表信息。

7.根據(jù)權(quán)利要求6所述的一種oracle與MySQL數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步的優(yōu)化系統(tǒng)，其特征在于：所述制表模塊中，任務(wù)表包含源和目的數(shù)據(jù)庫(kù)信息，包括數(shù)據(jù)庫(kù)類型、數(shù)據(jù)庫(kù)連接登錄信息、數(shù)據(jù)表信息、數(shù)據(jù)同步時(shí)間、同步結(jié)束時(shí)間和同步結(jié)果，主要是存儲(chǔ)需要同步數(shù)據(jù)的數(shù)據(jù)庫(kù)信息，包括源數(shù)據(jù)庫(kù)oracle和數(shù)據(jù)表，目的數(shù)據(jù)庫(kù)mysql和數(shù)據(jù)表，同步時(shí)間，結(jié)束時(shí)間等信息。

8.根據(jù)權(quán)利要求7所述的一種oracle與MySQL數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步的優(yōu)化系統(tǒng)，其特征在于：所述輪詢模塊中，當(dāng)觸發(fā)表的開(kāi)始同步時(shí)間后，轉(zhuǎn)至下一步，進(jìn)行數(shù)據(jù)同步準(zhǔn)備，當(dāng)同步時(shí)間未到時(shí)，不做任何處理，繼續(xù)輪詢?nèi)蝿?wù)表，直至到達(dá)設(shè)定的同步時(shí)間。