[發明專利]一種數據清理、索引方法

有效

• 申請號: 201611219279.8
• 申請日: 2016-12-26
• 公開（公告）號: CN106611053B
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 張國杰;邵曉艷;郭曉麗;郭學明
• 申請（專利權）人: 河南信安通信技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25;G06F16/28;G06F16/31
• 代理公司: 鄭州科維專利代理有限公司 41102
• 代理人: 項麗麗

本發明公開了一種數據清理、索引方法，屬于數據檢索領域，具體流程為：1）數據清理、導入：包括對于結構化數據的清理及對于非結構化數據的清理；2）元數據的建立：(1)元數據獲取，通過元數據獲取流程整合數據中心多個源中的不同元數據，使用數據庫作為元數據知識庫進行統一存儲管理；(2)元數據發布，建立一套元數據的發布流程來管理元數據的發布；(3)元數據訪問，建立一套元數據訪問權限的授予、管理流程機制，控制合法用戶對元數據資料的有效訪問；3）索引構建：通過元數據訪問，得出數據中心的分布式數據集群上的數據屬性。本發明整體的數據屬性非常清晰，結構化和非結構化數據區分的很明確，針對不同數據結構類型，有針對性選擇清洗工具，使其達到最好的清洗轉換效果，大大的提高了數據整合轉換效率。

技術領域

本發明屬于數據檢索領域，具體涉及一種基于云平臺多維數據融合分析系統的數據清理、索引方法。

背景技術

目前，在企業平臺建設方面，主要是以多方的數據為基礎，比如手動導入的數據，包括txt格式、excel格式、csv格式等，同步的數據，實時從其他業務系統獲取的數據等等，通過對數據的分析，進行數據的定向的匯總，以便后期的檢索，但是隨著企業規模的不斷擴大，業務量的不斷增長，自身產生的多方數據也是急劇的增加，對于一般的數據都是采用傳統的方法或者購買現成的檢索方法，進行數據的清理檢索。但是對于大部分的數據都是來自于各個平臺或者各方數據的匯總，這些數據由于沒有之前的整理，規整，因此所有的數據都是處于零散的狀態，如果還是采用普通的數據采集，數據清理，數據檢索的方式，那么由于這些檢索的工具都是現成的工具，沒法進一步的進行工具的完善和修改，因此基本上所有的這些數據都不能夠在現有的檢索工具基礎上匯總，使用，這給企業造成了很的麻煩和資源的浪費，因為只有在現有的檢索方式的基礎上進行嘗試才能夠發現其那些內容不能夠使用或者檢索效果不好，此過程本身就是一個資源的耗費過程，因此繼續有針對性得進行改進。

發明內容

本發明的目的在于克服現有技術中的不足而提供一種針對性強，能夠快速將數據進行規整，清理，能夠根據具體的數據進行索引方法的微調，從而實現數據的快速索引，可復制性的效果非常好。

本發明的目的是這樣實現的：

一種數據清理、索引方法，其特征在于：具體流程如下：

1）數據清理、導入：

對于結構化數據的清理，通過清理工具利用在線同步的方式同步到數據中心的分布式數據庫集群上或者通過文件等方式傳送到數據中心的分布式數據庫集群中或者通過接口實時調用；

對于非結構化數據的清理，通過清理工具層進行交換處理，存放于數據中心的分布式文件系統中，指定冗余度，同時實現統一存儲管理和冗余備份；

2）元數據的建立：

(1)元數據獲取，通過元數據獲取流程整合數據中心多個源中的不同元數據，并使用數據庫作為元數據知識庫進行統一存儲管理；

(2)元數據發布，建立一套元數據的發布流程來管理元數據的發布，元數據發布后，用戶能通過元數據報表來查詢各種元數據的內容，使用關聯影響分析、依賴分析、血統分析方法來分析元數據間的關系，通過搜索功能對元數據對象進行精確或模糊查詢，以XML標準進行元數據交換，并提供API接口和WebService接口接入，使得用戶的查詢請求得到及時有效的反饋；

(3)元數據訪問，建立一套元數據訪問權限的授予、管理流程機制，控制合法用戶對元數據資料的有效訪問；

3）索引構建：

通過元數據訪問，得出數據中心的分布式數據集群上的數據屬性，其中對于與表有關的數據庫結構采用數據庫索引，對于存儲在介質上的位置數據信息的描述采用空間索引，對于姓名、手機號和地址信息的描述采用關系索引，在關系型數據中，對數據中心的所有要素都要進行匹配的時候，采用全文索引。