[發明專利]一種大數據的數據存儲系統及方法

有效

• 申請號: 201811453010.5
• 申請日: 2018-11-30
• 公開（公告）號: CN109299154B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 魏強;裴亞波;李麗輝;王丹寧;翟勝強;馬靜靜
• 申請（專利權）人: 長城計算機軟件與系統有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/22
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 楊立

1.一種大數據的數據存儲系統，其特征在于，包括：

元數據結構層，用于定義并存儲多種元數據類型，及元數據類型的屬性；

元數據層，用于按照所述元數據類型的屬性，定義并存儲所有元數據對象信息和元數據對象之間的關聯關系；

數據結構層，用于按照所述元數據對象信息，定義并存儲統計數據的結構關系；

數據層，用于按照所述統計數據的結構關系，存儲所述統計數據；

其中，所述元數據層包括元數據對象表和元數據關系表；

所述元數據對象表，用于定義并存儲元數據對象信息，所述元數據對象表的字段包括元數據對象ID、元數據類型ID、元數據對象屬性、元數據對象父節點和元數據對象祖先節點；

所述元數據關系表，用于定義并存儲元數據對象之間的關聯關系。

2.根據權利要求1所述的系統，其特征在于，所述元數據結構層包括元數據類型表和元數據屬性表；

所述元數據類型表，用于定義并存儲多種元數據類型，所述元數據類型表的字段包括元數據類型ID、類型英文名稱、類型中文名稱和類型描述信息；

所述元數據屬性表，用于定義并存儲元數據類型的屬性信息，所述元數據屬性表的字段包括屬性ID、元數據類型ID、屬性類型、屬性英文名稱、屬性中文名稱和屬性描述信息。

3.根據權利要求1所述的系統，其特征在于，所述數據結構層包括數據分區表、邏輯存儲表、物理存儲表和存儲列信息表；

所述數據分區表，用于存儲數據分區信息，統計調查項目作為數據分區的依據，每個分區下包含一個調查項目的所有數據；

所述邏輯存儲表，用于定義數據的邏輯存儲結構，不同的邏輯存儲結構下數據的主鍵列組合不同；

所述物理存儲表，用于定義數據的物理存儲結構，每一條物理存儲記錄對應一張數據表；

所述存儲列信息表，用于按照所述元數據對象信息、所述邏輯存儲表定義的邏輯存儲結構和物理存儲表定義的物理存儲結構定義數據表的列信息，所述存儲列信息表中的每條記錄，對應所述數據表中的每一列。

4.根據權利要求1-3任一項所述的系統，其特征在于，所述元數據結構層、元數據層和數據結構層的數據表存儲在MongoDB數據庫中，所述數據層的數據表存儲在Oracle內存數據庫中。

5.一種應用于權利要求1-4任一項所述的系統的數據存儲方法，其特征在于，包括：

步驟1、元數據結構層定義并存儲多種元數據類型，及元數據類型的屬性；

步驟2、元數據層按照所述元數據類型的屬性，定義并存儲所有元數據對象信息和元數據對象之間的關聯關系；

步驟3、數據結構層按照所述元數據對象信息，定義并存儲統計數據的結構關系；

步驟4、數據層按照所述統計數據的結構關系，存儲所述統計數據；

其中，所述元數據層包括元數據對象表和元數據關系表；所述步驟2具體包括：

所述元數據對象表定義并存儲元數據對象信息，所述元數據對象表的字段包括元數據對象ID、元數據類型ID、元數據對象屬性、元數據對象父節點和元數據對象祖先節點；

所述元數據關系表定義并存儲元數據對象之間的關聯關系。

6.根據權利要求5所述的方法，其特征在于，所述元數據結構層包括元數據類型表和元數據屬性表；所述步驟1具體包括：

所述元數據類型表定義并存儲多種元數據類型，所述元數據類型表的字段包括元數據類型ID、類型英文名稱、類型中文名稱和類型描述信息；

所述元數據屬性表定義并存儲元數據類型的屬性信息，所述元數據屬性表的字段包括屬性ID、元數據類型ID、屬性類型、屬性英文名稱、屬性中文名稱和屬性描述信息。