[發(fā)明專利]數(shù)據(jù)回流方法、裝置、系統(tǒng)及設(shè)備

有效

• 申請?zhí)枺?/td>: 201810459488.2
• 申請日: 2018-05-15
• 公開（公告）號: CN108710665B
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計）人: 康樹鵬
• 申請（專利權(quán)）人: 創(chuàng)新先進技術(shù)有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/21;G06F16/27
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

本說明書實施例提供一種數(shù)據(jù)回流方法、裝置、系統(tǒng)及電子設(shè)備，該數(shù)據(jù)回流方案中提供有交互界面，可便于用戶發(fā)起回流請求，對用戶來說，令回流請求攜帶有原始數(shù)據(jù)表標識、原始數(shù)據(jù)表中的待回流字段、以及目的數(shù)據(jù)表標識即可；本實施例還預(yù)先設(shè)置有清洗模板程序和同步模板程序，基于此，針對不同回流請求，均可使用清洗模板程序和同步模板程序快速地為回流請求配置對應(yīng)的清洗節(jié)點和同步節(jié)點，從而實現(xiàn)一種能夠統(tǒng)一處理數(shù)據(jù)回流的方案。

技術(shù)領(lǐng)域

本說明書涉及數(shù)據(jù)倉庫技術(shù)領(lǐng)域，尤其涉及數(shù)據(jù)回流方法、裝置、系統(tǒng)及設(shè)備。

背景技術(shù)

數(shù)據(jù)倉庫(Data Warehouse)是一個面向主題的、集成的、隨時間不斷變化的數(shù)據(jù)集合，是在數(shù)據(jù)庫已經(jīng)大量存在的情況下，為了進一步挖掘數(shù)據(jù)資源、支持決策、支持數(shù)據(jù)分析等需要而產(chǎn)生的數(shù)據(jù)庫。

生產(chǎn)系統(tǒng)的正常運行需要數(shù)據(jù)倉庫的支持。數(shù)據(jù)回流是指將數(shù)據(jù)倉庫中原始數(shù)據(jù)表中的一些數(shù)據(jù)導(dǎo)入至生產(chǎn)系統(tǒng)數(shù)據(jù)庫的目的數(shù)據(jù)表的過程。在企業(yè)內(nèi)部，可能有很多用戶具有數(shù)據(jù)回流需求，提供一種用戶能夠便捷操作、能夠統(tǒng)一處理數(shù)據(jù)回流的方案，成為亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

為克服相關(guān)技術(shù)中存在的問題，本說明書提供了數(shù)據(jù)回流方法、裝置、系統(tǒng)及設(shè)備。

根據(jù)本說明書實施例的第一方面，提供一種數(shù)據(jù)回流系統(tǒng)，所述系統(tǒng)包括：數(shù)據(jù)倉庫、回流配置裝置、計算裝置以及線上管理裝置；

所述數(shù)據(jù)倉庫，用于：存儲和管理原始數(shù)據(jù)表；

所述回流配置裝置，用于：展示交互界面，通過所述交互界面接收回流請求，所述回流請求至少攜帶有如下信息：原始數(shù)據(jù)表標識、原始數(shù)據(jù)表中的待回流字段標識以及目的數(shù)據(jù)表標識；

所述計算裝置，用于：為所述回流請求配置對應(yīng)的清洗節(jié)點和同步節(jié)點；其中，所述清洗節(jié)點運行有清洗模板程序，所述清洗模板程序的數(shù)據(jù)參數(shù)包括所述原始數(shù)據(jù)表標識及所述待回流字段標識，所述清洗模板程序用于讀取原始數(shù)據(jù)表，清洗出針對待回流字段的增量數(shù)據(jù)；所述同步節(jié)點運行有同步模板程序，所述同步模板程序的數(shù)據(jù)參數(shù)包括所述增量數(shù)據(jù)及所述目的數(shù)據(jù)表標識，所述同步模板程序用于將所述增量數(shù)據(jù)發(fā)送給管理目的數(shù)據(jù)表的線上管理裝置；

所述線上管理裝置，用于：接收所述增量數(shù)據(jù)，利用所述增量數(shù)據(jù)更新所述目的數(shù)據(jù)表。

根據(jù)本說明書實施例的第二方面，提供一種數(shù)據(jù)回流方法，所述方法包括：

展示交互界面，通過所述交互界面接收回流請求，所述回流請求至少攜帶有如下信息：原始數(shù)據(jù)表標識、原始數(shù)據(jù)表中的待回流字段標識、以及目的數(shù)據(jù)表標識；

為所述回流請求配置對應(yīng)的清洗節(jié)點和同步節(jié)點；其中，所述清洗節(jié)點運行有清洗模板程序，所述清洗模板程序的數(shù)據(jù)參數(shù)包括所述原始數(shù)據(jù)表標識及所述待回流字段標識，所述清洗模板程序用于讀取原始數(shù)據(jù)表，清洗出針對待回流字段的增量數(shù)據(jù)；所述同步節(jié)點運行有同步模板程序，所述同步模板程序的數(shù)據(jù)參數(shù)包括所述增量數(shù)據(jù)及所述目的數(shù)據(jù)表標識，所述同步模板程序用于將所述增量數(shù)據(jù)發(fā)送給管理目的數(shù)據(jù)表的數(shù)據(jù)庫。

可選的，攜帶相同目的表標識的回流請求配置同一清洗節(jié)點或同一同步節(jié)點。

可選的，若所述目的數(shù)據(jù)表備份于多個數(shù)據(jù)庫，則所配置的同步節(jié)點的個數(shù)與目的數(shù)據(jù)表的個數(shù)相同。

可選的，所述待回流字段的增量數(shù)據(jù)基于當(dāng)前原始數(shù)據(jù)表與上一次同步時原始數(shù)據(jù)表的數(shù)據(jù)變化獲得。

可選的，還包括：

記錄同步時間、所述原始數(shù)據(jù)表以及所述目的數(shù)據(jù)表的對應(yīng)關(guān)系。

根據(jù)本說明書實施例的第三方面，提供一種數(shù)據(jù)回流裝置，所述裝置包括：