[發明專利]一種通過標準數據元進行政務數據清洗的方法和系統

在審

• 申請號: 202010559413.9
• 申請日: 2020-06-18
• 公開（公告）號: CN111858567A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 蘇榮康;姚伯祥;蔣鈺;吳宇龍;陸曉清;李康;呂健;陳峰;趙明亮;倪雯;戎鑫;張成;劉兵;吳榮華;李興洋;趙海寧
• 申請（專利權）人: 南京市江寧區信息化管理服務中心;中科曙光南京研究院有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06Q50/26
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 竇賢宇

本發明公開了一種通過標準數據元進行政務數據清洗的方法和系統，屬于數據處理技術領域。包括如下步驟：從相關政務網站和商業數據庫，收集現有的數據元標準，批量導入系統中，進行分類和維護；給收集的數據表字段，添加中文注釋；根據中文注釋和數據來源部門提供的信息，匹配標準數據元，修改數據結構，編制數據元字典表；選擇字段，匹配數據字典表。本發明通過標準數據元進行政務數據清洗的方法和系統，通過收集不同類型的標準數據元建立政務數據清洗系統，能夠有效清洗、匯聚的政務數據。解決了數據利用價值低、難以管理、應用范圍窄等問題。

技術領域

本發明屬于數據處理技術領域，尤其是一種通過標準數據元進行政務數據清洗的方法和系統。

背景技術

近年來，隨著政府信息化項目建設的展開，政府整體信息化水平迅速提升，在各個政府單位手中積累了豐富的業務數據資源，其種類不斷豐富、總量呈現爆發性增長，政務大數據體系已經初具雛形。隨著數據資源匯集、整合、存儲、管理、共享、交換與應用需求的不斷增長，當前存在的數據不規范等問題也日益凸顯，這些問題最終制約著政務數據資源的應用深度和價值，導致數據利用價值低、難以管理、應用范圍窄，這些問題的根源是一些政務系統開發時，沒有完全按照相關標準做數據規范建設。

發明內容

發明目的：提供一種通過標準數據元進行政務數據清洗的方法和系統，以解決背景技術中所涉及的問題。

技術方案：一種通過標準數據元進行政務數據清洗的方法和系統，包括：包括如下步驟：

S1、從相關政務網站和商業數據庫，收集現有的數據元標準，批量導入系統中，進行分類和維護；

S2、給收集的數據表字段，添加中文注釋；

S3、根據中文注釋和數據來源部門提供的信息，匹配標準數據元;

S4、根據所匹配數據元標準，修改數據結構；

S5、根據數據元標準，編制數據元字典表；

S6、根據實際情況和數據來源部門提供的信息，編制數據字典表；

S7、選擇字段，匹配數據字典表。

作為一個優選方案，所述數據元包括：數據項名稱、數據項標識符、中文全拼、說明、字符類型、字符長度、表示詞、特性詞、表示格式、值域、內部標識符、提交單位及機構信息。

作為一個優選方案，所述數據元導按照描述對象及所屬業務進行分類，并組織形成樹狀結構。

作為一個優選方案，優選的，所述添加中文注釋的具體步驟為：根據數據源系統數據庫設計文檔。

作為一個優選方案，所述數據元維護功能為：支持對數據元進行人工新增、修改及刪除操作，可對數據元所有的相關屬性進行維護，通過后臺維護數據元標準體系

作為一個優選方案，所述匹配標準數據元的步驟為：對數據資源字段進行整理分析及統計，確定字段的提交單位及機構、產生原因、實際含義，并與現有的數據元進行對照，尋找相關聯的數據元；對于不確定的數據元，按照統一的流程從提交單位及機構、值域、特性詞等方面依次進行分析。

作為一個優選方案，所述修改數據結構為：修改數據表字段名稱、字段類型、字段長度；在修改字段長度時，如果出現現有數據長度超出標準字段長度的情況，需要把這些數據分離出，再修改字段長度。

作為一個優選方案，所述編制數據字典表為：根據數據來源部門提供的數據庫設計文檔編寫數據字典表；若沒有數據庫設計文檔，對數據內容進行分類分析編寫數據字典表。

本發明還提供一種通過標準數據元進行政務數據清洗的系統，包括如下模塊：

數據導入模塊，從相關政務網站和商業數據庫，收集現有的數據元標準，批量導入系統中，進行分類和維護；