[發明專利]一種應用于門店經營的差異化同步方法及系統

有效

• 申請號: 202110377970.3
• 申請日: 2021-04-08
• 公開（公告）號: CN113010609B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 吳昭松;潘威;王憶新;王元盛;王新;彭肖溶;朱嬋娟
• 申請（專利權）人: 上海海鼎信息工程股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 衛素丹;胡晶

1.一種應用于門店經營的差異化同步方法，其特征在于，包括以下步驟：

S1：建立用于抽取源數據庫中數據的數據抽取端，當啟動所述源數據庫中的數據抽取工作時，所述數據抽取端向中心調度服務進行注冊，其中，所述中心調度服務，用于對多組所述源數據庫的數據抽取進行調度；

S2：當所述中心調度服務接收到所述數據抽取端的注冊信息后，生成包括任務類型、抽取模式在內的任務信息發送給所述數據抽取端，并啟動用于在所述數據抽取端抽取了所述源數據庫中的數據后，執行數據處理任務的數據處理端，其中，所述任務類型包括數據同步和校驗，所述抽取模式包括全表同步、單表增量同步、從表增量同步在內的根據不同的表單形態選定的適配的抽取模式；

S3：所述數據抽取端在接收到所述任務信息后，根據所述任務類型和所述抽取模式執行任務，將抽取到的數據封裝成數據包發送到所述數據處理端，其中，根據所述任務類型和所述抽取模式執行任務時，根據同步任務宿主機的性能，采用決策樹來計算最佳同步任務參數，在不影響宿主機運行、其他應用運行的前提下，通過提高并發、提高批數據大小、優化任務隊列分配來提高系統資源的使用率、降低整體任務的耗時，并具體包括：

建立用于計算最佳同步任務參數的決策樹，在任務啟動時，收集宿主機和數據倉儲ETL的包括CPU核數、CPU使用率、IO、網絡、內存、表字段數量、表字段大小在內的參數，將收集到的參數輸入決策樹；

決策樹輸出任務配置，啟動數據倉儲ETL任務；

根據當前系統的使用情況和歷史的任務日志，計算輸出該批次任務的包括最優的并發數、批數據大小、任務隊列的分配在內的任務配置，并收集包括任務執行的資源占用、耗時在內的信息保存到任務日志庫，為下一次決策提供依據；

S4：所述數據處理端在對所述數據包進行解析后，對所述數據包進行處理；當所述任務類型為數據同步時，將所述數據包中數據同步到目標數據庫中，當所述任務類型為校驗時，拉取所述目標數據庫中已同步的數據，與所述數據包中的數據進行比對，以驗證所述目標數據庫中已同步數據的準確性。

2.根據權利要求1所述的應用于門店經營的差異化同步方法，其特征在于，還包括：根據所述源數據庫中表單形態的不同，選定不同的所述抽取模式進行數據抽取并同步，具體為：

所述全表同步，適用于同步數據量少的表格，以及數據量大但同步頻率低的表格，對表格中的全部數據進行全表同步；

所述單表增量同步，適用于同步數據量大的單個表格，對表格中的新增或更新的數據進行增量同步；

所述從表增量同步，適用于同步與主表有關聯的從表，根據主表中新增或更新的數據，對從表中關聯的數據進行增量同步。

3.根據權利要求1所述的應用于門店經營的差異化同步方法，其特征在于，在步驟S3中，建立用于計算最佳同步任務參數的決策樹，具體為：

采用C4.5算法建立配置決策樹，將所述任務日志庫作為訓練集，計算每次任務執行日志時各個屬性的信息增益率，選擇信息增益率最高的屬性進行劃分，具體包括以下步驟：

設定任務日志庫中的所有屬性集合為D，其中有K類任務配置；

計算整體數據的信息熵：

其中，C_k表示第k類任務配置；

計算每一個屬性A的信息熵：

其中，通過屬性A將D劃分為n個不同類，D_i為通過屬性A劃分后的第i個集合；

計算每一個屬性A的信息增益：

Gain(D，A)＝H(D)-H(D|A)

計算信息增益率：

針對于每一個屬性A的信息增益率，找到信息增益率最高的特征，作為劃分決策樹的節點。

4.根據權利要求1所述的應用于門店經營的差異化同步方法，其特征在于，當所述任務類型為校驗時，包括即時快速校驗、按日校驗、按周校驗、動態校驗在內的校驗方案，具體為：

所述即時快速校驗，對數據量大、數據字段繁多的表進行及時的校驗；

所述按日校驗，對時間增量的數據進行校驗，每次校驗一天內有變化的數據；

所述按周校驗，對時間增量的數據進行校驗，每次校驗一周內有變化的數據；

所述動態校驗，對待校驗的數據，按照固定的時間間隔拆分成多個數據段，分別校驗。