[發明專利]一種應用于門店經營的差異化同步方法及系統

有效

• 申請號: 202110377970.3
• 申請日: 2021-04-08
• 公開（公告）號: CN113010609B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 吳昭松;潘威;王憶新;王元盛;王新;彭肖溶;朱嬋娟
• 申請（專利權）人: 上海海鼎信息工程股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 衛素丹;胡晶

本發明涉及數據同步技術領域，提供了一種應用于門店經營的差異化同步方法及系統，方法包括：數據抽取端向中心調度服務進行注冊；中心調度服務生成任務信息發送給數據抽取端；數據抽取端在接收到任務信息后，根據任務類型和抽取模式執行任務，將抽取到的數據封裝成數據包發送到數據處理端；數據處理端對數據包進行處理，當任務類型為數據同步時，將數據包中數據同步到目標數據庫中，當任務類型為校驗時，拉取目標數據庫中已同步的數據，與數據包中的數據進行比對，驗證已同步數據的準確性。針對于源數據庫中的不同形態的表單，采用與之相匹配的方式進行同步，確保每一次的同步都能夠完整、準確和高效。

技術領域

本發明涉及數據同步的技術領域，尤其涉及門店經營的差異化同步技術領域。具體為一種應用于門店經營的差異化同步方法及系統。

背景技術

在門店經營系統中，尤其是連鎖的門店，一般的都會包含多個不同的數據源。例如，不同的門店會有自己單獨的門店系統，對應于不同的源數據庫。再比如，在門店經營中會涉及到銷售系統，供應商系統等，同樣也會對應于不同的源數據庫。

在最終對各個門店、各個銷售或者供應商系統中的數據進行統計處理時，需要將各個數據庫中的數據進行同步匯總，同步存儲于同一個目標數據庫系統中，以方便后續的數據整理匯總統計。

在對源數據庫進行抽取，并同步到目標數據庫時，數據的完整、準確及高效是重要的目標。但是由于源數據庫中表單的形態存在不同，若對所有的表單采用單一相同的同步方式進行同步，會帶來很多問題，不能保證每一次的同步都能夠完整、準確和高效。

發明內容

針對上述問題，本發明的目的在于提供一種應用于門店經營的差異化同步方法及系統，針對于源數據庫中的不同形態的表單，采用與之相匹配的方式進行同步，確保每一次的同步都能夠完整、準確和高效。

本發明的上述發明目的是通過以下技術方案得以實現的：

一種應用于門店經營的差異化同步方法，包括以下步驟：

S1：建立用于抽取源數據庫中數據的數據抽取端，當啟動所述源數據庫中的數據抽取工作時，所述數據抽取端向中心調度服務進行注冊，其中，所述中心調度服務，用于對多組所述源數據庫的數據抽取進行調度；

S2：當所述中心調度服務接收到所述數據抽取端的注冊信息后，生成包括任務類型、抽取模式在內的任務信息發送給所述數據抽取端，并啟動用于在所述數據抽取端抽取了所述源數據庫中的數據后，執行數據處理任務的數據處理端，其中，所述任務類型包括數據同步和校驗，所述抽取模式包括全表同步、單表增量同步、從表增量同步在內的根據不同的表單形態選定的適配的抽取模式；

S3：所述數據抽取端在接收到所述任務信息后，根據所述任務類型和所述抽取模式執行任務，將抽取到的數據封裝成數據包發送到所述數據處理端，其中，根據所述任務類型和所述抽取模式執行任務時，根據同步任務宿主機的性能，采用決策樹來計算最佳同步任務參數，在不影響宿主機運行、其他應用運行的前提下，通過提高并發、提高批數據大小、優化任務隊列分配來提高系統資源的使用率、降低整體任務的耗時，并具體包括：

建立用于計算最佳同步任務參數的決策樹，在任務啟動時，收集宿主機和數據倉儲ETL的包括CPU核數、CPU使用率、I?O、網絡、內存、表字段數量、表字段大小在內的參數，將收集到的參數輸入決策樹；

決策樹輸出任務配置，啟動數據倉儲ETL任務；

根據當前系統的使用情況和歷史的任務日志，計算輸出該批次任務的包括最優的并發數、批數據大小、任務隊列的分配在內的任務配置，并收集包括任務執行的資源占用、耗時在內的信息保存到任務日志庫，為下一次決策提供依據；