[發(fā)明專利]一種數(shù)據(jù)同步方法及裝置

有效

• 申請?zhí)枺?/td>: 202011566795.4
• 申請日: 2020-12-25
• 公開（公告）號: CN112597247B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設計）人: 江峰;鄭高
• 申請（專利權(quán)）人: 杭州數(shù)夢工場科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2455
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 王茹

本申請?zhí)峁┮环N數(shù)據(jù)同步方法及裝置，該方法可以包括：從源表中抽取第一數(shù)據(jù)組中的數(shù)據(jù)至第一緩存隊列，并根據(jù)在預設字段的取值調(diào)整第一數(shù)據(jù)組中的各條數(shù)據(jù)的排列順序以得到第二數(shù)據(jù)組，使第二數(shù)據(jù)組中在所述預設字段具有相同取值的所有數(shù)據(jù)相鄰排列；將第二數(shù)據(jù)組中的數(shù)據(jù)抽取至第二緩存隊列，并逐條識別第二緩存隊列中的每條數(shù)據(jù)在預設字段的取值；當識別到任一條數(shù)據(jù)在預設字段的取值與上一條數(shù)據(jù)不同時，將第二緩存隊列中位于所述任一條數(shù)據(jù)之前的所有數(shù)據(jù)批量同步至目的表中對應的分區(qū)。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)庫領(lǐng)域，尤其涉及一種數(shù)據(jù)同步方法及裝置。

背景技術(shù)

隨著大數(shù)據(jù)的發(fā)展，將海量數(shù)據(jù)同步到數(shù)據(jù)庫的需求越來越常見，為了方便過濾查詢和使用，將源表中的數(shù)據(jù)同步至數(shù)據(jù)庫的目的表時會選擇使用分區(qū)表來將數(shù)據(jù)進行分區(qū)存儲。相關(guān)技術(shù)中，分區(qū)存儲數(shù)據(jù)時對源表中的數(shù)據(jù)形式有較多的限制，為分區(qū)同步數(shù)據(jù)帶來不便。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)峁┮环N數(shù)據(jù)同步方法及裝置。

為實現(xiàn)上述目的，本申請?zhí)峁┘夹g(shù)方案如下：

根據(jù)本申請的第一方面，提出了一種數(shù)據(jù)同步方法，包括：

從源表中抽取第一數(shù)據(jù)組中的數(shù)據(jù)至第一緩存隊列，并根據(jù)在預設字段的取值調(diào)整所述第一數(shù)據(jù)組中的各條數(shù)據(jù)的排列順序以得到第二數(shù)據(jù)組，使第二數(shù)據(jù)組中在所述預設字段具有相同取值的所有數(shù)據(jù)相鄰排列；

將所述第二數(shù)據(jù)組中的數(shù)據(jù)抽取至第二緩存隊列，并逐條識別所述第二緩存隊列中的每條數(shù)據(jù)在所述預設字段的取值；

當識別到任一條數(shù)據(jù)在所述預設字段的取值與上一條數(shù)據(jù)不同時，將所述第二緩存隊列中位于所述任一條數(shù)據(jù)之前的所有數(shù)據(jù)批量同步至目的表中對應的分區(qū)。

根據(jù)本申請的第二方面，提出了一種數(shù)據(jù)同步裝置，包括：

排序單元，用于從源表中抽取第一數(shù)據(jù)組中的數(shù)據(jù)至第一緩存隊列，并根據(jù)在預設字段的取值調(diào)整所述第一數(shù)據(jù)組中的各條數(shù)據(jù)的排列順序以得到第二數(shù)據(jù)組，使第二數(shù)據(jù)組中在所述預設字段具有相同取值的所有數(shù)據(jù)相鄰排列；

識別單元，用于將所述第二數(shù)據(jù)組中的數(shù)據(jù)抽取至第二緩存隊列，并逐條識別所述第二緩存隊列中的每條數(shù)據(jù)在所述預設字段的取值；

同步單元，用于當識別到任一條數(shù)據(jù)在所述預設字段的取值與上一條數(shù)據(jù)不同時，將所述第二緩存隊列中位于所述任一條數(shù)據(jù)之前的所有數(shù)據(jù)批量同步至目的表中對應的分區(qū)。

根據(jù)本申請的第三方面，提出了一種電子設備，包括：

處理器；

用于存儲處理器可執(zhí)行指令的存儲器；

其中，所述處理器通過運行所述可執(zhí)行指令以實現(xiàn)如上述實施例中任一所述的方法。

根據(jù)本申請的第四方面，提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機指令，該指令被處理器執(zhí)行時實現(xiàn)如上述實施例中任一所述方法的步驟。

由以上技術(shù)方案可見，本申請采用緩存隊列抽取數(shù)據(jù)后再進行分區(qū)，充分利用了緩存隊列自身的數(shù)據(jù)結(jié)構(gòu)，對源表中的數(shù)據(jù)是否為已經(jīng)生成的固定歷史數(shù)據(jù)沒有要求，同時可以實現(xiàn)對流式數(shù)據(jù)或增量數(shù)據(jù)的同步；此外，本申請將數(shù)據(jù)按照預設字段的取值進行排序，使在預設字段具有相同取值的數(shù)據(jù)相鄰排列，進而逐條識別排序后的數(shù)據(jù)，并將預設字段具有相同取值的數(shù)據(jù)批量同步至對應分區(qū)，實現(xiàn)了根據(jù)數(shù)據(jù)內(nèi)容動態(tài)分區(qū)存儲數(shù)據(jù)，為后續(xù)對數(shù)據(jù)內(nèi)容的查詢與使用提供便利；同時，將預設字段具有相同取值的數(shù)據(jù)批量同步至對應分區(qū)，提升了數(shù)據(jù)的同步效率，實現(xiàn)了將分區(qū)相同的數(shù)據(jù)快速寫入對應分區(qū)。

附圖說明

圖1是本申請一示例性實施例示出的一種數(shù)據(jù)同步方法的流程圖；