[發明專利]數據回流方法、裝置、系統及設備

有效

• 申請號: 201810459488.2
• 申請日: 2018-05-15
• 公開（公告）號: CN108710665B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 康樹鵬
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/21;G06F16/27
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種數據回流系統，所述系統包括：數據倉庫、回流配置裝置、計算裝置以及線上管理裝置；

所述數據倉庫，用于：存儲和管理原始數據表；

所述回流配置裝置，用于：展示交互界面，通過所述交互界面接收回流請求，所述回流請求至少攜帶有如下信息：原始數據表標識、原始數據表中的待回流字段標識以及目的數據表標識；

所述計算裝置，用于：基于所述回流請求中攜帶的信息配置清洗模板程序和同步模板程序的數據參數，為所述回流請求配置對應的清洗節點和同步節點；其中，所述清洗節點運行有清洗模板程序，所述清洗模板程序的數據參數包括所述原始數據表標識及所述待回流字段標識，所述清洗模板程序用于讀取原始數據表，清洗出針對待回流字段的增量數據；所述同步節點運行有同步模板程序，所述同步模板程序的數據參數包括所述增量數據及所述目的數據表標識，所述同步模板程序用于將所述增量數據發送給管理目的數據表的線上管理裝置；

所述線上管理裝置，用于：接收所述增量數據，利用所述增量數據更新所述目的數據表。

2.一種數據回流方法，所述方法包括：

展示交互界面，通過所述交互界面接收回流請求，所述回流請求至少攜帶有如下信息：原始數據表標識、原始數據表中的待回流字段標識、以及目的數據表標識；

基于所述回流請求中攜帶的信息配置清洗模板程序和同步模板程序的數據參數，為所述回流請求配置對應的清洗節點和同步節點；其中，所述清洗節點運行有清洗模板程序，所述清洗模板程序的數據參數包括所述原始數據表標識及所述待回流字段標識，所述清洗模板程序用于讀取原始數據表，清洗出針對待回流字段的增量數據；所述同步節點運行有同步模板程序，所述同步模板程序的數據參數包括所述增量數據及所述目的數據表標識，所述同步模板程序用于將所述增量數據發送給管理目的數據表的數據庫。

3.根據權利要求2所述的方法，攜帶相同目的表標識的回流請求配置同一清洗節點或同一同步節點。

4.根據權利要求2所述的方法，若所述目的數據表備份于多個數據庫，則所配置的同步節點的個數與目的數據表的個數相同。

5.根據權利要求2所述的方法，所述待回流字段的增量數據基于當前原始數據表與上一次同步時原始數據表的數據變化獲得。

6.根據權利要求2所述的方法，還包括：

記錄同步時間、所述原始數據表以及所述目的數據表的對應關系。

7.一種數據回流裝置，所述裝置包括：

展示模塊，用于：展示交互界面，通過所述交互界面接收回流請求，所述回流請求至少攜帶有如下信息：原始數據表標識、原始數據表中的待回流字段標識、以及目的數據表標識；

配置模塊，用于：基于所述回流請求中攜帶的信息配置清洗模板程序和同步模板程序的數據參數，為所述回流請求配置對應的清洗節點和同步節點；其中，所述清洗節點運行有清洗模板程序，所述清洗模板程序的數據參數包括所述原始數據表標識及所述待回流字段標識，所述清洗模板程序用于讀取原始數據表，清洗出針對待回流字段的增量數據；所述同步節點運行有同步模板程序，所述同步模板程序的數據參數包括所述增量數據及所述目的數據表標識，所述同步模板程序用于將所述增量數據發送給管理目的數據表的數據庫。

8.根據權利要求7所述的裝置，攜帶相同目的表標識的回流請求配置同一清洗節點或同一同步節點。

9.根據權利要求7所述的裝置，若所述目的數據表備份于多個數據庫，則所配置的同步節點的個數與目的數據表的個數相同。

10.根據權利要求7所述的裝置，所述待回流字段的增量數據基于當前原始數據表與上一次同步時原始數據表的數據變化獲得。

11.根據權利要求7所述的裝置，還包括記錄模塊，用于：

記錄同步時間、所述原始數據表以及所述目的數據表的對應關系。

12.一種數據回流設備，包括：

處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器被配置為：

展示交互界面，通過所述交互界面接收回流請求，所述回流請求至少攜帶有如下信息：原始數據表標識、原始數據表中的待回流字段標識、以及目的數據表標識；

基于所述回流請求中攜帶的信息配置清洗模板程序和同步模板程序的數據參數，為所述回流請求配置對應的清洗節點和同步節點；其中，所述清洗節點運行有清洗模板程序，所述清洗模板程序的數據參數包括所述原始數據表標識及所述待回流字段標識，所述清洗模板程序用于讀取原始數據表，清洗出針對待回流字段的增量數據；所述同步節點運行有同步模板程序，所述同步模板程序的數據參數包括所述增量數據及所述目的數據表標識，所述同步模板程序用于將所述增量數據發送給管理目的數據表的數據庫。