[發明專利]一種數據管理平臺、方法及電子設備

在審

• 申請號: 202110473717.8
• 申請日: 2021-04-29
• 公開（公告）號: CN113297239A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 薛凱
• 申請（專利權）人: 上海淇玥信息技術有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京清誠知識產權代理有限公司 11691
• 代理人: 喬東峰

本發明公開了一種數據管理平臺、方法及電子設備，所述平臺包括：數據字典模塊，用于從不同存儲源中獲取數據并將該數據寫入指定數據庫中，當存儲源數據與指定數據庫數據存在不一致的數據時，向數據字典操作模塊發送第一同步指令；數據字典操作模塊，用于響應第一同步指令，將不一致的數據同步更新至指定數據庫。通過對比存儲源數據與指定數據庫數據，當存儲源數據與指定數據庫數據存在不一致的數據時，將不一致的數據同步更新至指定數據庫，提高數據時效性。

技術領域

本發明涉及數據處理技術領域，具體而言，涉及一種數據管理平臺、方法、電子設備及計算機可讀介質。

背景技術

數據管理平臺可以同時提供對業務的數據支撐和對數據組內部的開發交付協助。現有數據管理平臺并不能統一各個存儲源的數據，而且數據更新需要先定時刪除舊數據，再全量插入新數據，一是在刪除-插入期間會有一段數據空白期，導致前端用戶在數據空白期內無法查詢到任何數據。二是每天做全量的源數據解析和更新，會拖長整個數據鏈路的時長，并且導致不必要的服務器資源消耗，造成數據時效性差的問題。

發明內容

本發明旨在解決現有數據管理平臺不能統一各個存儲源的數據，數據時效性差的技術問題。

為了解決上述技術問題，本發明第一方面提出一種數據管理平臺，所述平臺包括：數據字典模塊，與所述數據字典模塊相連的數據字典表操作模塊；其中：

數據字典模塊，用于從不同存儲源中獲取數據并將該數據寫入指定數據庫中，當存儲源數據與指定數據庫數據存在不一致的數據時，向數據字典操作模塊發送第一同步指令；

數據字典操作模塊，用于響應第一同步指令，將不一致的數據同步更新至指定數據庫。

根據本發明一種優選實施方式，所述數據字典模塊包括：依次連接的數據獲取模塊和數據對比模塊，其中：

數據獲取模塊，用于從不同的存儲源中獲取數據并實時向數據字典操作模塊發送第二同步指令，以便數據字典操作模塊響應第二同步指令，將不同存儲源的數據分類同步寫入指定數據庫；

數據對比模塊，用于定時對比各個存儲源數據與指定數據庫數據，當存儲源數據與指定數據庫數據存在不一致的數據時，向所述數據字典操作模塊發送第一同步指令，以便數據字典操作模塊響應第一同步指令，將不一致的數據同步更新至指定數據庫。

根據本發明一種優選實施方式，當存儲源數據比指定數據庫數據有新增數據時，所述數據對比模塊向數據獲取模塊發送數據獲取指令，以便數據獲取模塊從目標存儲源中獲取新增數據，并向數據字典操作模塊發送第一正同步指令，以便數據字典操作模塊將新增數據同步寫入指定數據庫；當存儲源數據比指定數據庫數據有刪除數據時，所述數據對比模塊向數據字典操作模塊發送第一負同步指令，以便數據字典操作模塊將刪除數據同步從指定數據庫中刪除。

根據本發明一種優選實施方式，所述數據對比模塊，還用于間隔預定時間查詢用戶對各個存儲源數據的操作，向數據字典操作模塊發送同步指令，以便數據字典操作模塊將預設時間內用戶對存儲源數據的操作同步到指定數據庫。

根據本發明一種優選實施方式，所述數據獲取模塊包括：

數倉模塊，用于獲取并解析數據倉庫中的數據，并實時向數據字典操作模塊發送第二同步指令；

第三方數據模塊，用于獲取第三方存儲源數據，并實時向數據字典操作模塊發送第二同步指令；

操作數據存儲層數據模塊，用于獲取操作數據存儲層的多種數據源數據以及操作數據存儲層的特征數據項數據，并實時向數據字典操作模塊發送第二同步指令。

根據本發明一種優選實施方式，所述數據字典操作模塊，響應第二同步指令，根據存儲源將待寫入的數據分類，并將分類后的數據同步寫入指定數據庫。

根據本發明一種優選實施方式，所述數據管理平臺還包括：