[發(fā)明專利]一種大數(shù)據(jù)的數(shù)據(jù)存儲系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201811453010.5
• 申請日: 2018-11-30
• 公開（公告）號: CN109299154B
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計(jì)）人: 魏強(qiáng);裴亞波;李麗輝;王丹寧;翟勝強(qiáng);馬靜靜
• 申請（專利權(quán)）人: 長城計(jì)算機(jī)軟件與系統(tǒng)有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/22
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立

本發(fā)明涉及一種大數(shù)據(jù)的數(shù)據(jù)存儲系統(tǒng)及方法，該系統(tǒng)包括四層結(jié)構(gòu)，其中，元數(shù)據(jù)結(jié)構(gòu)層定義并存儲多種元數(shù)據(jù)類型，及元數(shù)據(jù)類型的屬性；元數(shù)據(jù)層按照元數(shù)據(jù)類型的屬性，定義并存儲所有元數(shù)據(jù)對象信息和元數(shù)據(jù)對象之間的關(guān)聯(lián)關(guān)系；數(shù)據(jù)結(jié)構(gòu)層按照元數(shù)據(jù)對象信息，定義并存儲統(tǒng)計(jì)數(shù)據(jù)的結(jié)構(gòu)關(guān)系；數(shù)據(jù)層按照統(tǒng)計(jì)數(shù)據(jù)的結(jié)構(gòu)關(guān)系，存儲統(tǒng)計(jì)數(shù)據(jù)。本發(fā)明基于DDI元數(shù)據(jù)標(biāo)準(zhǔn)，定義了統(tǒng)計(jì)數(shù)據(jù)存儲的4層結(jié)構(gòu)：元數(shù)據(jù)結(jié)構(gòu)、元數(shù)據(jù)、數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)，從而將海量微觀數(shù)據(jù)按照大數(shù)據(jù)架構(gòu)進(jìn)行統(tǒng)一存儲和管理，打破數(shù)據(jù)資源整合壁壘，實(shí)現(xiàn)統(tǒng)計(jì)數(shù)據(jù)的靈活、高效存儲和使用，繼而很大程度上解決數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、增長速度快，以及數(shù)據(jù)分析使用困難等問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)統(tǒng)計(jì)領(lǐng)域，具體涉及一種大數(shù)據(jù)的數(shù)據(jù)存儲系統(tǒng)及方法。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)存儲和數(shù)據(jù)處理的壓力隨之增加。對于統(tǒng)計(jì)微觀數(shù)據(jù)而言，目前主要的數(shù)據(jù)來源有聯(lián)網(wǎng)直報(bào)系統(tǒng)和各類調(diào)查采集系統(tǒng)，存在數(shù)據(jù)管理難、數(shù)據(jù)使用難等問題。

發(fā)明內(nèi)容

針對上述技術(shù)問題，本發(fā)明提供一種大數(shù)據(jù)的數(shù)據(jù)存儲系統(tǒng)及方法。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種大數(shù)據(jù)的數(shù)據(jù)存儲系統(tǒng)，包括：

元數(shù)據(jù)結(jié)構(gòu)層，用于定義并存儲多種元數(shù)據(jù)類型，及元數(shù)據(jù)類型的屬性；

元數(shù)據(jù)層，用于按照所述元數(shù)據(jù)類型的屬性，定義并存儲所有元數(shù)據(jù)對象信息和元數(shù)據(jù)對象之間的關(guān)聯(lián)關(guān)系；

數(shù)據(jù)結(jié)構(gòu)層，用于按照所述元數(shù)據(jù)對象信息，定義并存儲統(tǒng)計(jì)數(shù)據(jù)的結(jié)構(gòu)關(guān)系；

數(shù)據(jù)層，用于按照所述統(tǒng)計(jì)數(shù)據(jù)的結(jié)構(gòu)關(guān)系，存儲所述統(tǒng)計(jì)數(shù)據(jù)。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明還提供一種應(yīng)用于上述系統(tǒng)的數(shù)據(jù)存儲方法，包括：

步驟1、元數(shù)據(jù)結(jié)構(gòu)層定義并存儲多種元數(shù)據(jù)類型，及元數(shù)據(jù)類型的屬性；

步驟2、元數(shù)據(jù)層按照所述元數(shù)據(jù)類型的屬性，定義并存儲所有元數(shù)據(jù)對象信息和元數(shù)據(jù)對象之間的關(guān)聯(lián)關(guān)系；

步驟3、數(shù)據(jù)結(jié)構(gòu)層按照所述元數(shù)據(jù)對象信息，定義并存儲統(tǒng)計(jì)數(shù)據(jù)的結(jié)構(gòu)關(guān)系；

步驟4、數(shù)據(jù)層按照所述統(tǒng)計(jì)數(shù)據(jù)的結(jié)構(gòu)關(guān)系，存儲所述統(tǒng)計(jì)數(shù)據(jù)。

本發(fā)明的有益效果是：基于DDI元數(shù)據(jù)標(biāo)準(zhǔn)，定義了統(tǒng)計(jì)數(shù)據(jù)存儲的4層結(jié)構(gòu)：元數(shù)據(jù)結(jié)構(gòu)、元數(shù)據(jù)、數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)，從而將海量微觀數(shù)據(jù)按照大數(shù)據(jù)架構(gòu)進(jìn)行統(tǒng)一存儲和管理，打破數(shù)據(jù)資源整合壁壘，實(shí)現(xiàn)統(tǒng)計(jì)數(shù)據(jù)的靈活、高效存儲和使用，繼而很大程度上解決數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、增長速度快，以及數(shù)據(jù)分析使用困難等問題。

附圖說明

圖1為本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)的數(shù)據(jù)存儲系統(tǒng)的4層結(jié)構(gòu)圖；

圖2為本發(fā)明實(shí)施例4層結(jié)構(gòu)及各層的定義示意圖；

圖3為與對應(yīng)數(shù)據(jù)存儲的4層結(jié)構(gòu)相應(yīng)的存儲模型圖；

圖4為本發(fā)明實(shí)施例提供的元數(shù)據(jù)結(jié)構(gòu)層示意圖；

圖5為元數(shù)據(jù)類型表和元數(shù)據(jù)屬性表的關(guān)系示意圖；

圖6為本發(fā)明實(shí)施例提供的元數(shù)據(jù)層示意圖；

圖7為元數(shù)據(jù)層與元數(shù)據(jù)結(jié)構(gòu)層間關(guān)系示意圖；

圖8為數(shù)據(jù)結(jié)構(gòu)層示意圖；

圖9為數(shù)據(jù)結(jié)構(gòu)層間表關(guān)系示意圖；

圖10為數(shù)據(jù)表T2和數(shù)據(jù)結(jié)構(gòu)層關(guān)系示意圖。

具體實(shí)施方式