[發明專利]一種數據清理、索引方法

有效

• 申請號: 201611219279.8
• 申請日: 2016-12-26
• 公開（公告）號: CN106611053B
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 張國杰;邵曉艷;郭曉麗;郭學明
• 申請（專利權）人: 河南信安通信技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25;G06F16/28;G06F16/31
• 代理公司: 鄭州科維專利代理有限公司 41102
• 代理人: 項麗麗

1.一種數據清理、索引方法，其特征在于：具體流程如下：

1）數據清理、導入：

對于結構化數據的清理，通過清理工具利用在線同步的方式同步到數據中心的分布式數據庫集群上或者通過文件的 方式傳送到數據中心的分布式數據庫集群中或者通過接口實時調用；對于非結構化數據的清理，通過清理工具層進行交換處理，存放于數據中心的分布式文件系統中，指定冗余度，同時實現統一存儲管理和冗余備份；

2）元數據的建立：

(1)元數據獲取，通過元數據獲取流程整合數據中心多個源中的不同元數據，并使用數據庫作為元數據知識庫進行統一存儲管理；

(2)元數據發布，建立一套元數據的發布流程來管理元數據的發布，元數據發布后，用戶能通過元數據報表來查詢各種元數據的內容，使用關聯影響分析、依賴分析、血統分析方法來分析元數據間的關系，通過搜索功能對元數據對象進行精確或模糊查詢，以XML標準進行元數據交換，并提供API接口和WebService接口接入，使得用戶的查詢請求得到及時有效的反饋；

(3)元數據訪問，建立一套元數據訪問權限的授予、管理流程機制，控制合法用戶對元數據資料的有效訪問；

3）索引構建：

通過元數據訪問，得出數據中心的分布式數據集群上的數據屬性，其中對于與表有關的數據庫結構采用數據庫索引，對于存儲在介質上的位置數據信息的描述采用空間索引，對于姓名、手機號和地址信息的描述采用關系索引，在關系型數據中，對數據中心的所有要素都要進行匹配的時候，采用全文索引，

在導入前需要進行表或索引的存在性判斷，已存在的表能夠禁用索引，導入完成能夠自動恢復索引，不存在的表、表空間、分區、索引能夠自動創建表、索引、分區。

2.根據權利要求1所述的一種數據清理、索引方法，其特征在于：所述的數據清理、導入過程中，現有RDBMS數據庫中，關鍵數據少的部分，通過清理工具利用在線同步的方式同步到數據中心的分布式數據庫集群上；數據量大的部分，通過文件的 方式傳送到數據中心的分布式數據庫集群中，或者通過接口實時調用的方式；WEB平臺錄入的信息經過清理工具的處理直接同步到數據中心的分布式數據集群中。

3.根據權利要求1或者2所述的一種數據清理、索引方法，其特征在于：所述的清理工具為能夠支持常見文件格式，至少包括txt文件、csv文件、excel文件、dmp文件數據格式，并且相同數據、不同數據的轉換過程能夠自定義，還能夠實現數據格式的轉換，按照要求進行標準化處理，另外數據規范化工具操作便利、界面直觀以及數據格式化工作自動和人工進行。

4.根據權利要求1所述的一種數據清理、索引方法，其特征在于：所述的元數據建立過程中，當元數據發生變更時，元數據管理應用應該捕捉到這種變更，給出分析報告，指引用戶完成元數據同步工作；并且自動跟蹤和記錄元數據的更新，包括變更時間和變更原因，生成完整的元數據變更歷史。