[發(fā)明專利]異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)同步方法、裝置、介質(zhì)和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010820904.4
• 申請(qǐng)日: 2020-08-14
• 公開(kāi)（公告）號(hào): CN111984729A
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 王凱龍
• 申請(qǐng)（專利權(quán)）人: 北京人大金倉(cāng)信息技術(shù)股份有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F9/48
• 代理公司: 北京開(kāi)陽(yáng)星知識(shí)產(chǎn)權(quán)代理有限公司 11710
• 代理人: 安偉

1.一種異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)同步方法，其特征在于，包括：

從源數(shù)據(jù)庫(kù)傳輸來(lái)的增量數(shù)據(jù)文件中讀取數(shù)據(jù)及指示信息；所述指示信息包含指示所述數(shù)據(jù)待寫(xiě)入的表信息；

基于預(yù)設(shè)配置文件和所述指示信息確定所述數(shù)據(jù)是否涉及目標(biāo)數(shù)據(jù)庫(kù)中的關(guān)聯(lián)關(guān)系表；

確定所述數(shù)據(jù)不涉及所述關(guān)聯(lián)關(guān)系表時(shí)，基于所述預(yù)設(shè)配置文件和所述指示信息將所述數(shù)據(jù)分配至多個(gè)寫(xiě)線程中的指定寫(xiě)線程，以使讀取的多個(gè)數(shù)據(jù)各自對(duì)應(yīng)的指定寫(xiě)線程將數(shù)據(jù)并行寫(xiě)入所述目標(biāo)數(shù)據(jù)庫(kù)。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述預(yù)設(shè)配置文件中預(yù)先設(shè)置有目標(biāo)數(shù)據(jù)庫(kù)中不同表的表信息與對(duì)應(yīng)的寫(xiě)線程標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系；

所述基于所述預(yù)設(shè)配置文件和所述指示信息將所述數(shù)據(jù)分配至多個(gè)寫(xiě)線程中的指定寫(xiě)線程，包括：

基于所述指示信息中所述數(shù)據(jù)待寫(xiě)入的表信息及所述對(duì)應(yīng)關(guān)系，確定所述數(shù)據(jù)對(duì)應(yīng)的寫(xiě)線程標(biāo)識(shí)；

基于所述數(shù)據(jù)對(duì)應(yīng)的寫(xiě)線程標(biāo)識(shí)，將所述數(shù)據(jù)分發(fā)至所述數(shù)據(jù)對(duì)應(yīng)的寫(xiě)線程標(biāo)識(shí)指示的指定寫(xiě)線程。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)同步方法，其特征在于，所述預(yù)設(shè)配置文件還包括預(yù)設(shè)數(shù)據(jù)分配策略，該預(yù)設(shè)數(shù)據(jù)分配策略指示基于預(yù)設(shè)輪詢算法在多個(gè)寫(xiě)線程之間分配數(shù)據(jù)；

所述基于所述預(yù)設(shè)配置文件和所述指示信息將所述數(shù)據(jù)分配至多個(gè)寫(xiě)線程中的指定寫(xiě)線程，包括：

基于所述指示信息中所述數(shù)據(jù)待寫(xiě)入的表信息及所述對(duì)應(yīng)關(guān)系，確定所述數(shù)據(jù)待寫(xiě)入的表是否為第一預(yù)設(shè)數(shù)據(jù)表；該第一預(yù)設(shè)數(shù)據(jù)表是所述對(duì)應(yīng)關(guān)系中涉及的至少一個(gè)表；

確定不是所述第一預(yù)設(shè)數(shù)據(jù)表時(shí)，基于所述預(yù)設(shè)數(shù)據(jù)分配策略將所述數(shù)據(jù)分配至多個(gè)寫(xiě)線程中的指定寫(xiě)線程；

確定是所述第一預(yù)設(shè)數(shù)據(jù)表時(shí)，基于所述對(duì)應(yīng)關(guān)系和所述指示信息將所述數(shù)據(jù)分配至多個(gè)寫(xiě)線程中的指定寫(xiě)線程。

4.根據(jù)權(quán)利要求1～3任一項(xiàng)所述的數(shù)據(jù)同步方法，其特征在于，所述預(yù)設(shè)配置文件還包括關(guān)聯(lián)關(guān)系表的表信息；所述基于預(yù)設(shè)配置文件和所述指示信息確定所述數(shù)據(jù)是否涉及目標(biāo)數(shù)據(jù)庫(kù)中的關(guān)聯(lián)關(guān)系表，包括：

獲取所述預(yù)設(shè)配置文件中的關(guān)聯(lián)關(guān)系表的表信息；

確定所述關(guān)聯(lián)關(guān)系表的表信息與所述指示信息中的所述數(shù)據(jù)待寫(xiě)入的表信息是否相同；

確定相同時(shí)，所述數(shù)據(jù)涉及所述目標(biāo)數(shù)據(jù)庫(kù)中的關(guān)聯(lián)關(guān)系表；

確定不同時(shí)，所述數(shù)據(jù)不涉及所述目標(biāo)數(shù)據(jù)庫(kù)中的關(guān)聯(lián)關(guān)系表。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)同步方法，其特征在于，所述預(yù)設(shè)配置文件還包括一致性保護(hù)策略，該一致性保護(hù)策略包括對(duì)關(guān)聯(lián)關(guān)系表操作時(shí)的數(shù)據(jù)分配規(guī)則和串行執(zhí)行順序；所述方法還包括：

確定所述數(shù)據(jù)涉及所述關(guān)聯(lián)關(guān)系表時(shí)，確定所有寫(xiě)線程是否寫(xiě)完數(shù)據(jù)；

確定所有寫(xiě)線程寫(xiě)完數(shù)據(jù)時(shí)，基于所述一致性保護(hù)策略中的數(shù)據(jù)分配規(guī)則將所述數(shù)據(jù)分配至多個(gè)寫(xiě)線程中的指定寫(xiě)線程；

基于所述一致性保護(hù)策略中的串行執(zhí)行順序，使所述數(shù)據(jù)對(duì)應(yīng)的指定寫(xiě)線程串行執(zhí)行，以將所述數(shù)據(jù)寫(xiě)入所述目標(biāo)數(shù)據(jù)庫(kù)中的關(guān)聯(lián)關(guān)系表。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)同步方法，其特征在于，所述數(shù)據(jù)分配規(guī)則包括基于預(yù)設(shè)輪詢算法的分配規(guī)則；和/或，所述表信息包括表名稱和/或表的唯一標(biāo)識(shí)。

7.根據(jù)權(quán)利要求5所述的數(shù)據(jù)同步方法，其特征在于，所述從源數(shù)據(jù)庫(kù)傳輸來(lái)的增量數(shù)據(jù)文件中讀取數(shù)據(jù)及指示信息之前，還包括：

在所述目標(biāo)數(shù)據(jù)庫(kù)側(cè)初始化啟動(dòng)一讀線程和多個(gè)寫(xiě)線程；

為所述多個(gè)寫(xiě)線程分別配置對(duì)應(yīng)的緩存隊(duì)列，并將所述多個(gè)寫(xiě)線程與所述目標(biāo)數(shù)據(jù)庫(kù)連接；其中，分配至各指定寫(xiě)線程的數(shù)據(jù)進(jìn)入對(duì)應(yīng)的緩存隊(duì)列中。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)同步方法，其特征在于，還包括：

傳輸至所述目標(biāo)數(shù)據(jù)庫(kù)的增量數(shù)據(jù)文件以事務(wù)為單位順序存儲(chǔ)；

所述從源數(shù)據(jù)庫(kù)傳輸來(lái)的增量數(shù)據(jù)文件中讀取多個(gè)數(shù)據(jù)，包括：

所述讀線程依次串行讀取順序存儲(chǔ)的增量數(shù)據(jù)文件以讀取數(shù)據(jù)。