[發明專利]異構數據源的數據同步方法及系統

在審

• 申請號: 202010875938.3
• 申請日: 2020-08-25
• 公開（公告）號: CN112148788A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 李柯辰;朱瀟婷;唐宏禹;何偉;魏戰松;曾子豪;王釬;李釧冉
• 申請（專利權）人: 珠海市卓軒科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/48
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 葉琦煒

本發明公開了一種異構數據源的數據同步方法及系統，其中該方法包括：接收數據同步請求，獲取所述數據同步請求的源數據庫類型、目標數據庫類型、同步數據屬性信息及任務調度配置信息；根據所述源數據庫類型及所述目標數據庫類型，讀取相應的模板文件，基于所述模板文件組裝所述同步數據屬性信息，并根據所述任務調度配置信息生成相應的數據同步任務；根據所述任務調度配置信息生成所述數據同步任務相應的數據讀取線程及數據寫入線程，從源數據庫中抽取待同步數據并寫入至目標數據庫。本發明通過數據同步請求中的配置，可對異構數據進行高效的數據同步管理，從而使異構數據的集中匯聚，提高了數據的互用性，便于數據的集成管理。

技術領域

本發明涉及異構數據源的數據管理，特別涉及一種異構數據源的數據同步方法及系統。

背景技術

IT業務系統很少跨部門、跨單位、跨層級進行統一規劃和建設，導致業務系統處于分散、獨立的狀況，業務間數據資源不僅處于煙囪狀態，數據資源的一致性和互用性較差，數據資源的價值無法充分發揮，數據之間的集成也是無章可循。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明提出一種異構數據源的數據同步方法，能夠支持異構數據源之間的數據在異構網絡下高效同步，集成數據。

本發明還提出一種具有上述異構數據源的數據同步方法的異構數據源的數據同步系統。

本發明還提出一種具有上述異構數據源的數據同步方法的計算機可讀存儲介質。

根據本發明的第一方面實施例的異構數據源的數據同步方法，包括以下步驟：S100，接收數據同步請求，獲取所述數據同步請求的源數據庫類型、目標數據庫類型、同步數據屬性信息及任務調度配置信息；S200，根據所述源數據庫類型及所述目標數據庫類型，讀取相應的模板文件，基于所述模板文件組裝所述同步數據屬性信息，并根據所述任務調度配置信息生成相應的數據同步任務；S300，根據所述任務調度配置信息生成所述數據同步任務相應的數據讀取線程及數據寫入線程，所述數據讀取線程根據所述源數據庫類型及所述同步數據屬性信息從源數據庫中抽取待同步數據，所述數據寫入線程根據所述目標數據庫類型及所述同步數據屬性信息將所述待同步數據寫入至目標數據庫。

根據本發明實施例的異構數據源的數據同步方法，至少具有如下有益效果：通過數據同步請求中的配置信息，可對不同來源、格式、特點性質的異構數據進行高效的數據同步管理，從而使異構數據的集中匯聚，提高了數據的互用性，便于數據的集成管理。

根據本發明的一些實施例，所述同步數據屬性信息包括：數據來源信息、數據去向信息、數據映射關系、臟數據檢測規則及寫入方式。

根據本發明的一些實施例，所述步驟S300包括：S310，所述數據讀取線程根據所述源數據庫類型調用相應的讀取接口，通過所述數據來源信息獲取所述待同步數據；S320，根據所述數據去向信息對所述待同步數據進行類型轉換，并通過所述臟數據檢測規則對所述待同步數據進行檢測過濾；S330，所述數據寫入線程根據所述目標數據庫類型調用相應的寫入接口，根據所述數據去向信息及所述寫入方式，將檢測過濾后的所述待同步數據寫入目標數據庫中。

根據本發明的一些實施例，所述數據來源信息及所述數據去向信息均包括：數據庫、表及字段；所述寫入方式被配置為更新或者覆蓋。

根據本發明的一些實施例，所述步驟S300還包括：在啟動所述數據讀取線程之前，根據所述模板文件中的預處理配置，通過反射調用相應的處理類執行所述數據同步任務的預處理。

根據本發明的一些實施例，所述任務調度配置信息包括：配置資源組、調度周期、任務并發數、資源優先級、任務生效規則及任務失效規則。