[發明專利]一種基于大數據技術的人口基礎數據庫

有效

• 申請號: 201910342834.3
• 申請日: 2019-04-26
• 公開（公告）號: CN110134667B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 于幫付;趙丹;黃蓉;佘彬;李鵬
• 申請（專利權）人: 北京百分點科技集團股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/28;G06F16/25
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 劉昕;南霆

1.一種基于大數據技術的人口基礎數據庫，其特征在于，包括DataX組件、Phoenix層和HIVE人口數據庫：

DataX組件：外部的政務系統的人口數據通過DataX組件導入所述HIVE人口數據庫，所述HIVE人口數據庫通過DataX組件對外提供人口數據；

Phoenix層：所述Phoenix層用于從HIVE人口數據庫獲取需要提供實時查詢的人口數據，對外提供API數據查詢服務；

HIVE人口數據庫：所述HIVE人口數據庫用于接收、處理和存儲來自外部的政務系統的人口數據；

所述HIVE人口數據庫具體包括STG緩沖層、FDM基礎層、IDM整合層、ADM集市層、DIM維度層、TMP臨時層；

所述STG緩沖層用于通過DataX組件接收來自各個政務系統的原始人口數據后進行存放，對原始人口數據不作處理；其主題按政務系統劃分，每個政務系統對應一個主題；STG緩沖層對原始人口數據存儲設定時間長度，超過設定的時間長度后，數據自動清除；

所述FDM基礎層用于對STG緩沖層所存儲的原始人口數據進行清洗和標準化轉換，并對不同政務系統中同一屬性的表名和字段名進行統一后存儲；其主題劃分和所述STG緩沖層保持一致；所述FDM基礎層中的表結構，對于碼值具有對應的文本內容存儲字段，并且FDM基礎層中還具有存儲被清洗掉的異常數據的表，碼值是指在數據庫系統中，唯一標識實體的某個屬性值的代碼；

所述IDM整合層用于整合經FDM基礎層處理后的各個政務系統的人口數據，包括事實表和維表，事實表用于存儲實際的數據，維表用于存儲事實表中對象的屬性；所述IDM整合層的主題域按人生命周期活動規律劃分為四個主題域，包括主要信息、出生死亡信息、關系、活動；主要信息主題域中包含人口的基本信息和除了基本信息以外的擴展信息，其中基本信息包括姓名、性別、出生日期、證件、民族、血型；出生死亡主題域包含與人口的出生死亡相關的屬性；關系主題域包含社會關系屬性；活動主題域包含犯罪信息；

所述ADM集市層用于存儲IDM整合層整合得到的人口數據，通過DataX組件對外提供數據服務；其主題域根據實際應用需要確定；

所述Phoenix層中也設有ADM集市層，用于存儲HIVE人口數據庫的ADM集市層通過DataX組件所提供的需要提供實時查詢的人口數據；

所述DIM維度層用于梳理HIVE人口數據庫涉及的維度，分為公共維度和參考維度兩個主題域，公共維度是通用的維度，參考維度是各個政務系統中特有的維度；

所述TMP臨時層用于存放ETL處理過程需要使用的中間臨時表；

在第一次接入人口數據時使用全量的方式，人口數據依次進入STG緩沖層、FDM基礎層、IDM整合層、ADM集市層；首次接入人口數據之后，需要對人口數據進行測試驗證工作，確保人口數據按設定的效果進入到人口基礎數據庫中，并能對外提供數據服務之后，人口基礎數據庫才進入正常運行階段；此后數據以增量方式接入人口基礎數據庫。

2.根據權利要求1所述的人口基礎數據庫，其特征在于，STG緩沖層的主題包括身份證系統、犯罪系統、出生死亡系統、社保系統、婚姻登記系統、教育管理系統、固定資產登記系統。

3.根據權利要求1所述的人口基礎數據庫，其特征在于，IDM整合層中，所述事實表和維表的關聯關系采用星型模型。

4.根據權利要求1所述的人口基礎數據庫，其特征在于，IDM整合層中，所述擴展信息包括居住地址、通訊信息、國籍、固定資產、社保；所述人口的出生死亡的相關屬性包括出生證明、出生醫院、死亡證明、埋葬地點；社會關系屬性包括父母、子女、配偶關系；所述犯罪信息包括犯罪記錄、犯罪地點、審判結果、所在監獄。

5.根據權利要求1所述的人口基礎數據庫，其特征在于，公共維度主題域包含性別維度、國家維度、區域維度、日期維度、婚姻狀態維度、人種維度、民族維度、血型維度、聯系方式類型維度、學歷維度和維度映射表，所述維度映射表是用于在FDM基礎層進行標準化轉換使用的；參考維度則包含身份證號狀態、身份證申請狀態、身份證申請類型、身份證制證狀態、身份證卡片類型、犯罪類型。

6.根據權利要求1所述的人口基礎數據庫，其特征在于，根據實際的數據需求按日、周、月或者年的方式接入增量數據。