[發(fā)明專利]一種用于城市級數(shù)據(jù)中臺的數(shù)據(jù)資源管理系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011173990.0
• 申請日: 2020-10-28
• 公開（公告）號: CN112148717A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 陳正偉;辛帥;陳建華
• 申請（專利權(quán)）人: 云賽智聯(lián)股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/25;G06F16/29;G06Q50/26
• 代理公司: 上海申新律師事務(wù)所 31272
• 代理人: 黨蕾

本發(fā)明提供一種用于城市級數(shù)據(jù)中臺的數(shù)據(jù)資源管理系統(tǒng)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，包括：區(qū)級數(shù)據(jù)湖，用于存儲來自政務(wù)數(shù)據(jù)、視頻數(shù)據(jù)和物聯(lián)數(shù)據(jù)中的原始貼源數(shù)據(jù)；基礎(chǔ)庫，連接區(qū)級數(shù)據(jù)湖，用于從區(qū)級數(shù)據(jù)湖提取原始貼源數(shù)據(jù)，并存儲對原始貼源數(shù)據(jù)按照業(yè)務(wù)需求進(jìn)行按需重構(gòu)后形成的基礎(chǔ)數(shù)據(jù)；主題庫，連接區(qū)級數(shù)據(jù)湖，用于從區(qū)級數(shù)據(jù)湖提取原始貼源數(shù)據(jù)，并存儲對原始貼源數(shù)據(jù)進(jìn)行數(shù)據(jù)治理后形成的業(yè)務(wù)數(shù)據(jù)，為上層應(yīng)用提供數(shù)據(jù)支撐的同時為城市各部門提供數(shù)據(jù)共享支撐。本發(fā)明中的區(qū)級數(shù)據(jù)湖支持存儲結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)；主題庫存儲的業(yè)務(wù)數(shù)據(jù)為上層應(yīng)用提供數(shù)據(jù)支撐的同時為城市各部門提供數(shù)據(jù)共享支撐。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種用于城市級數(shù)據(jù)中臺的數(shù)據(jù)資源管理系統(tǒng)。

背景技術(shù)

數(shù)據(jù)中臺是數(shù)據(jù)應(yīng)用開發(fā)門戶，具有閉環(huán)涵蓋數(shù)據(jù)應(yīng)用開發(fā)全流程，完整覆蓋離線計算、實時計算應(yīng)用等功能。能夠滿足開發(fā)人員從數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)質(zhì)量、數(shù)據(jù)地圖、數(shù)據(jù)模型、數(shù)據(jù)API的各層次應(yīng)用。可以理解，使用數(shù)據(jù)中臺可以解放開發(fā)人員的生產(chǎn)力，極大的縮短數(shù)據(jù)價值的萃取過程，提高企業(yè)提煉數(shù)據(jù)價值的能力。但是現(xiàn)有的數(shù)據(jù)中臺中，無法同時實現(xiàn)多源異構(gòu)的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲，以及無法滿足支撐政務(wù)數(shù)據(jù)共享交換需求和上層應(yīng)用系統(tǒng)的數(shù)據(jù)需求。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供一種用于城市級數(shù)據(jù)中臺的數(shù)據(jù)資源管理系統(tǒng)，包括：

區(qū)級數(shù)據(jù)湖，用于存儲來自政務(wù)數(shù)據(jù)、視頻數(shù)據(jù)和物聯(lián)數(shù)據(jù)中的原始貼源數(shù)據(jù)；

基礎(chǔ)庫，連接所述區(qū)級數(shù)據(jù)湖，用于從所述區(qū)級數(shù)據(jù)湖提取所述原始貼源數(shù)據(jù)，并存儲對所述原始貼源數(shù)據(jù)按照業(yè)務(wù)需求進(jìn)行按需重構(gòu)后形成的基礎(chǔ)數(shù)據(jù)；

主題庫，連接所述區(qū)級數(shù)據(jù)湖，用于從所述區(qū)級數(shù)據(jù)湖提取所述原始貼源數(shù)據(jù)，并存儲對所述原始貼源數(shù)據(jù)進(jìn)行數(shù)據(jù)治理后形成的業(yè)務(wù)數(shù)據(jù)，為上層應(yīng)用提供數(shù)據(jù)支撐的同時為城市各部門提供數(shù)據(jù)共享支撐。

優(yōu)選的，還包括安全模塊，分別連接所述區(qū)級數(shù)據(jù)湖、所述基礎(chǔ)庫和所述主題庫，用于對所述區(qū)級數(shù)據(jù)湖、所述基礎(chǔ)庫和所述主題庫中的數(shù)據(jù)進(jìn)行安全保護(hù)。

優(yōu)選的，所述安全模塊包括：

訪問安全單元，用于根據(jù)數(shù)據(jù)內(nèi)容及用戶級別設(shè)置相應(yīng)的數(shù)據(jù)訪問權(quán)限以保證所述數(shù)據(jù)訪問安全；和/或

傳輸安全單元，用于為數(shù)據(jù)傳輸過程提供安全機(jī)制以保證所述數(shù)據(jù)傳輸安全；和/或

數(shù)據(jù)更新單元，用于由下級數(shù)據(jù)管理部門負(fù)責(zé)日常數(shù)據(jù)采集更新，并通過增量備份的方式定期逐級向上進(jìn)行數(shù)據(jù)更新；和/或

備份單元，用于建立備份系統(tǒng)對所述區(qū)級數(shù)據(jù)湖、所述基礎(chǔ)庫和所述主題庫進(jìn)行數(shù)據(jù)備份，并在災(zāi)難發(fā)生時恢復(fù)系統(tǒng)。

優(yōu)選的，所述安全機(jī)制包括數(shù)據(jù)壓縮傳輸，或數(shù)據(jù)加密傳輸，或采用HTTPs傳輸方式，或采用數(shù)據(jù)庫安全審計設(shè)備對撥號用戶接入采用強(qiáng)身份認(rèn)證，或提供信息認(rèn)證功能，或提供防火墻功能，或提供安全審計及告警功能。

優(yōu)選的，還包括所述區(qū)級數(shù)據(jù)湖、所述基礎(chǔ)庫和所述主題庫統(tǒng)一底層存儲管理，對應(yīng)的底層存儲數(shù)據(jù)庫包括關(guān)系型數(shù)據(jù)庫區(qū)域、大數(shù)據(jù)支撐區(qū)域和大數(shù)據(jù)分析區(qū)域。

優(yōu)選的，所述關(guān)系型數(shù)據(jù)庫區(qū)域包括前置節(jié)點區(qū)域、所述區(qū)級數(shù)據(jù)湖的結(jié)構(gòu)化區(qū)域和部門特殊業(yè)務(wù)系統(tǒng)；

所述大數(shù)據(jù)支撐區(qū)域包括所述區(qū)級數(shù)據(jù)湖的半結(jié)構(gòu)化區(qū)域和非結(jié)構(gòu)化區(qū)域；

所述大數(shù)據(jù)分析區(qū)域包括所述主題庫。

優(yōu)選的，所述區(qū)級數(shù)據(jù)湖包括：

市級數(shù)據(jù)庫、區(qū)級政務(wù)庫、物聯(lián)數(shù)據(jù)庫和視頻數(shù)據(jù)庫。

優(yōu)選的，所述基礎(chǔ)庫包括：